Stable Diffusion 2.0版本发布！超分辨率、Depth-to-Image等重大升级

最新推荐文章于 2024-08-22 11:13:14 发布

数据派THU

最新推荐文章于 2024-08-22 11:13:14 发布

阅读量3.6k

点赞数

文章标签： stable diffusion 计算机视觉人工智能深度学习

原文链接：https://mp.weixin.qq.com/s?__biz=MzI1MjQ2OTQ3Ng==&mid=2247586759&idx=2&sn=80cb30d251dfe7c8becbfe2d6ab86869&chksm=e9e09a4cde97135a0ce9c4a4b51b01ac6ad38c716652ddf63229cbc5895dbbfa323993ebaa15&scene=126&&sessionid=0

版权

来源：智源社区
本文约1100字，建议阅读5分钟本文为你分享 Stable Diffusion 2.0 开源版本。

Stability AI发布了Stable Diffusion 2.0 版本，以下为发布全文：

我们很高兴地宣布 Stable Diffusion 2的开源版本。

GitHub地址：

https://github.com/Stability-AI/stablediffusion

Stable Diffusion V1版本改变了开源AI模型的本质，并在世界各地催生了数以百计的其他模型和创新。在所有软件中，它是攀升到Github 10K星最快的软件之一，在不到两个月的时间里就突破了33K星。

资料来源: A16z 和 Github

来自慕尼黑大学的 Robin Rombach (Stability AI)和 Patrick Esser (Runway ML)的团队，在Björn Ommer 教授的领导下，主导了最初V1版本版本。他们以先前实验室工作Latent Diffusion模型为基础，并得到了 LAION 和 Eleuther AI 的关键支持。

与最初的 V1版本相比，Stable Diffusion 2.0提供了许多重大的改进和特性，让我们深入了解一下它们。

新的文生图Diffusion模型

Stable Diffusion 2.0版本包括使用一种全新的文本编码器(OpenCLIP)训练的鲁棒文生图模型，该模型由 LAION 在Stability AI 公司的支持下开发，与早期的 V1版本相比，它极大地提高了生成图像的质量。本版本中的文生图模型可以生成默认分辨率为512x512像素和768x768像素的图像。

这些模型是在Stability AI 下面的 DeepFloyd 团队创建的 LAION-5B （https://laion.ai/blog/laion-5b/）数据集的美学子集上所训练的，然后进一步过滤，使用 LAION 的 NSFW 过滤器去除成人内容。

Stable Diffusion 2.0以768x768图像分辨率生成的图像示例。

超分辨率高阶Diffusion模型

Stable Diffusion 2.0还包括一个高阶Diffusion模型，将图像分辨率提高了4倍。下面是我们的模型将低分辨率生成的图像(128x128)升级为高分辨率图像(512x512)的示例。Stable Diffusion 2.0现在可以生成分辨率为2048x2048-甚至更高的图像。

左: 128x128低分辨率图像，右: 512x512分辨率图像由高阶模型制作。

Depth-to-Image Diffusion 模型

新的以深度信息为指引的stable diffusion模型，称为 depth2img，扩展了 V1版本中的图像到图像特性，为创造性应用提供了全新的可能性。Depth2img 可以推断输入图像的深度信息（使用现有模型），然后利用文本和深度信息生成新图像。

左边的输入图像可以生成右边几个新图像。新模型可用于保持图像结构的图像生成图像和形状条件图像合成（shape-conditional image synthesis）。

Depth-to-Image可以提供各种新的创造性应用，提供与原始图像截然不同的转换，但仍然保持图像的连贯性和深度信息：

Depth-to-Image保持连贯性

更新的Inpainting Diffusion模型

升级版还包含了一个新的以文本为指引的inpainting 模型，在新的Stable Diffusion 2.0基础文生图上进行了微调，能够很容易快速实现替换一个图像的一部分。

更新的inpainting 模型在Stable Diffusion 2.0文生图模型上进行了微调。

Stable Diffusion第一代发布以来，我们一直在努力优化模型，以运行在单一GPU上-希望让尽可能多的人可以使用。我们已经看到，当数以百万计的人使用这些模型，他们共同创造了一些真正惊人的东西。这就是开源的力量：挖掘数百万人才的巨大潜力，这些人可能没有资源训练一个最先进的模型，但他们有能力用一个模型做一些不可思议的事情。

这个新版本，连同其强大的新特性，如 depth2img 和更高分辨率等升级功能，将成为无数应用程序的基础，并能够激发新的创造潜力。