Stable Diffusion 2.0 相比 1.5 是倒退吗？Prompt 实验给你真相

Stability.ai 一周多前发布了 Stable Diffusion 2.0 模型。这是继 8 月 Stable Diffusion 1.4 版本以来最大的更新。但在 AI 图像生成模型激烈的竞争局面下，看起来社区并不买账。SD 2.0 在 Reddit 上招来群嘲，人们抱怨，SD 旧版本的 prompt，在 2.0 下不仅不再管用，甚至效果明显有倒退，生物体结构扭曲错乱，质感奇怪。拿来跟讨巧又低门槛的 Midjourney v4 一比较，简直是场噩梦。

社区甚至有了 “阴谋” 的猜想，先于官方发布的 2.0 开源模型是 Emad / SD Team 放出来的非常基础的模型版本，它们还有一个艺术超模型集 hypernetwork/model set，但不会公开，而是用于自有商业服务 DreamStudio 或拿来卖 API。社区想用好东西，得靠自己动手 finetune 。

我对 SD2 的第一印象也跟社区差不多，不小的挫败和失望。过去珍藏的prompt 跑完能看的不多。但抛弃旧思路，经过几组的 prompt 实验后，我又信心大振，发现了 Stable Diffusion 2.0 的很多亮点和优势。

fine-art photography of a Clear crystal cube, floating highly on the sky, the tumultuous sea, Arctic Ocean, sunset, magic time, HDR, Minimalism, artistic, atmospheric, Centered symmetrical composition, conceptual design, futuristic, cinematic, hyper-detailed, 8K wallpaper -H 960 -S 3033668822

fine-art landscape and nature photography of ocean, Stunning Photos of breaking Ocean Wave, close-up view, High-speed photography, HDR, artistic, Minimalism Photography, cloudy sky, magic time, sunset, golden shining, atmospheric, depressing, masterpiece, golden ratio composition, 8K, wallpaper, -H 1024 -S 6820342731

fine-art Photography a beautiful eye, blue and golden pupil, super close-up view, dark clear background, Minimalism, artistic, atmospheric, masterpiece, HDR, golden ratio composition, hyper-detailed, 500px, -W 960 -S 4972926877

fine-art underwater photography of swiming pool, Stunning Photos of running horse underwater, HDR, artistic, magic time, atmospheric, masterpiece, golden ratio composition, 500px, 8K, wallpaper, -H 1024 -S 9854093032

下面是我花了大概 4 个小时实验结果和经验分享。我使用的生成服务用的是 我和家属 @virushuo 一起开发的 DFserver（基于 Huggingface Diffusers 实现的分布式 backend AI pieline server）的 discord bot。

本文中每张图都提供了 prompt 和 seed （见 image caption）, 都是我原创的，欢迎大家在其基础上还原生成，做更多探索。需要注意的是，我用的是 diffusers + 2.0 模型, 同样的 seed 在 Dreamstudio 上可能结果会不一样。

所有结果都是纯 prompt 生成，无 init image，无后期，也没使用 negative prompt （用了可能更好玩）。

所有图的生成参数：

• CGS: 9

• Steps: 25

• Size: 769 * 1024 or 768 * 960

SD2.0 最大改进，基础模型提供了更高的分辨率 （从 512 增加到 768 px），用更少的步数就能达到很好的结果（从 50 steps 减少到 25 ），图像质量和细节的丰富程度上也有了显著的提升。尤其突出的是对 光源、阴影、投影、物体表面的漫反射及环境反射、景深这些指标的处理，超越目前市面上的所有模型。

比如下面这三张海面上的透明晶体，橙色落日的光照如何在水面和晶体表面及内部形成漂亮的反射及折射，如何不同地作用于高透明水晶体和半透明的冰块，以及透明水晶球上准确的球面化变形处理。

fine-art photography of a Clear crystal cube, reflecting the seaface, floating on the tumultuous sea, Arctic Ocean, sunset, magic time, by Andreas Rocha, Minimalism, artistic, atmospheric, masterpiece, golden ratio composition, hyper-detailed, 8K wallpaper -H 960 -S 1717647526

fine-art photography of a small Clear crystal ice cube, floating above the horizon, the tumultuous sea, Sea floating with broken ice, sunset, magic time, HDR, Minimalism, artistic, atmospheric, Centered symmetrical composition, conceptual design, futuristic, cinematic, hyper-detailed, 8K wallpaper -H 960 -S 3033668822

fine-art photography of a Clear crystal ball, floating highly on the sky, the tumultuous sea, Arctic Ocean, sunset, magic time, HDR, Minimalism, artistic, atmospheric, Centered symmetrical composition, conceptual design, futuristic, cinematic, hyper-detailed, 8K wallpaper -H 960 -S 3033668822

下面一组实验是水下场景的生成。水下场景的渲染和水体仿真在 CG 领域是皇冠级别的难度。AI 生成 能做到这个程度令我很吃惊。抛开复杂的光照处理和水波反射&