今日Stability AI发布了Stable Diffusion 2.0 版本,以下为发布全文:
我们很高兴地宣布 Stable Diffusion 2的开源版本。
GitHub地址:https://github.com/Stability-AI/stablediffusion
Stable Diffusion V1版本改变了开源AI模型的本质,并在世界各地催生了数以百计的其他模型和创新。在所有软件中,它是攀升到Github 10K星最快的软件之一,在不到两个月的时间里就突破了33K 星。
资料来源: A16z 和 Github
来自慕尼黑大学的 Robin Rombach (Stability AI)和 Patrick Esser (Runway ML)的团队,在Björn Ommer 教授的领导下,主导了最初V1版本版本。他们以先前实验室工作Latent Diffusion模型为基础,并得到了 LAION 和 Eleuther AI 的关键支持。
与最初的 V1版本相比,Stable Diffusion 2.0提供了许多重大的改进和特性,让我们深入了解一下它们。
新的文生图Diffusion模型
Stable Diffusion 2.0版本包括使用一种全新的文本编码器(OpenCLIP)训练的鲁棒文生图模型,该模型由 LAION 公司在Stability AI 公司的支持下开发,与早期的 V1版本相比,它极大地提高了生成图像的质量。本版本中的文生图模型可以生成默认分辨率为512x512像素和768x768像素的图像。
这些模型是在Stability AI 下面的 DeepFloyd 团队创建的 LAION-5B (https://laion.ai/blog/laion-5b/)数据集的美学子集上所训练的,然后进一步过滤,使用 LAION 的 NSFW 过滤器去除成人内容。
Stable Diffusion 2.0以768x768图像分辨率生成的图像示例。
超分辨率高阶Diffusion模型
Stable Diffusion 2.0还包括一个高阶Diffusion模型,将图像分辨率提高了4倍。下面是我们的模型将低分辨率生成的图像(128x128)升级为高分辨率图像(512x512)的示例。Stable Diffusion 2.0现在可以生成分辨率为2048x2048-甚至更高的图像。
左: 128x128低分辨率图像,右: 512x512分辨率图像由高阶模型制作。
Depth-to-Image Diffusion 模型
新的以深度信息为指引的stable diffusion模型,称为 depth2img,扩展了 V1版本中的图像到图像特性,为创造性应用提供了全新的可能性。Depth2img 可以推断输入图像的深度信息(使用现有模型),然后利用文本和深度信息生成新图像。
左边的输入图像可以生成右边几个新图像。新模型可用于保持图像结构的图像生成图像和形状条件图像合成(shape-conditional image synthesis)。
Depth-to-Image可以提供各种新的创造性应用,提供与原始图像截然不同的转换,但仍然保持图像的连贯性和深度信息:
Depth-to-Image保持连贯性
更新的Inpainting Diffusion模型
我们还包含了一个新的以文本为指引的inpainting 模型,在新的Stable Diffusion 2.0基础文生图上进行了微调,能够很容易快速实现替换一个图像的一部分。
更新的inpainting 模型在Stable Diffusion 2.0文生图模型上进行了微调。
Stable Diffusion第一代发布以来,我们一直在努力优化模型,以运行在单一GPU上-我们希望让尽可能多的人可以使用。我们已经看到,当数以百万计的人使用这些模型,他们共同创造了一些真正惊人的东西。这就是开源的力量:挖掘数百万人才的巨大潜力,这些人可能没有资源训练一个最先进的模型,但他们有能力用一个模型做一些不可思议的事情。
这个新版本,连同其强大的新特性,如 depth2img 和更高分辨率等升级功能,将成为无数应用程序的基础,并能够激发新的创造潜力。
关于访问模型的更多细节,请查看我们的 gitHub: https://GitHub.com/stability-ai/stablediffusion 上的发布说明。
未来几天,我们将把这些模型发布到Stability AI API 平台( https://platform.stability.ai/)和 DreamStudio上。我们将向开发人员和合作伙伴发送这方面的更新信息,包括价格更新。希望大家喜欢!