Stable Diffusion 3.0技术论文解读

前几周

AI绘画领域扔出了一颗重磅炸弹

那就是Stability AI发布了备受期待的Stable Diffusion 3.0

简称SD3

一周后

官方放出了一篇详尽的技术论文

阐述了SD3实现突破性进展的底层原理

但是同时也引发了一连串疑问

SD3能否在RTX 4090显卡上流畅运行?

对其他主流GPU的兼容性如何?

更重要的是

面对OpenAI的Sora等劲敌

这次Stability AI能否力挽狂澜

重塑行业格局?

相比于这篇满是复杂公式的论文

对普通读者而言

Stability AI的论文概要无疑更具可读性

今天我们就来聊一聊

这篇论文本质上是介绍Stable Diffusion 3背后的研究

但是并没有明确指出如何实现所有的功能

官方公布了一些新的方法

并且分享了关于哪些训练决策提高了模型性能

哪些没能完全达到预期

以及哪些组合赋予了Stable Diffusion 3惊人的能力

Stability AI信心满满地表示

在大规模人类主观评测中

SD3在排版质量、对提示的理解和执行度上

全面碾压了DALL-E 3、MidJourney v6、Ideagram v1等顶级产品

这里务必强调一下"提示",

因为它是AI绘画的灵魂所在

MidJourney v6固然能生成让人叹为观止的画面

但是稍微复杂抽象一点的提示

它就难以完全"照单全收"。

造成这种局面的根本原因

是MidJourney v6过度迎合大众的审美偏好

简单来说

它只擅长画人们爱看的那些东西

相比之下

Stable Diffusion的强项在于快速理解并且忠实地执行提示

同时能够灵活调整画面的局部细节

而无需事后大动干戈地修修补补

令人振奋的是

SD3祭出了全新的"多模态扩散Transformer"架构(MMDIT)。

它采用独立的权重来编码图像和文本特征

大幅提升了文本理解和拼写能力

这是文图生成领域的一大突破

此外

SD3还为排版单独配备了编码器和Transformer

它俨然将这个"小众"领域做成了"极致"。

关于性能，从这张图表可以看出

在视觉美感度、提示匹配度、排版质量等方面

SD3在人类偏好调查中均取得了全面胜利

作为基准,它轻松碾压了所有竞品

稳坐C位

至于SDXL系列终究略逊一筹

真正让人惊喜的是SD3的硬件兼容性

Stability AI重点测试了SD3在主流消费级显卡上的表现

结果令人喜出望外

就算是那个"巨无霸"版本(模型参数高达80亿),

也能完整装进24GB显存的RTX 4090

以1000x1000分辨率、50步迭代为例

生成一张图片需约34秒

要知道,50步在SDXL时代已经是顶配

如果你是"平民玩家",也不用灰心

SD3有多个轻量化版本

参数量从8亿到80亿不等

总有一款适合你

从几个令人惊艳的样例图来看

SD3能根据简单的文字提示

灵活地生成各种主题和风格迥异的图像

这得益于它在主题理解和场景构建上的重大进步

比如让一只鳄梨站在讲台前授课

或是给一只袋鼠戴上墨镜

它都能完美呈现

从这些看似荒诞的创意中

我们依稀可见SD3惊人的想象力

它已经初步具备了从文本中提取高层语义

并灵活组合成画面的能力

官方在论文中指出

对于从文本到图像的生成

SD3必须兼顾文本和图像两种模态

这正是他们将新架构命名为MMDIT(多模态扩散Transformer)的原因所在

与前代Stable Diffusion一脉相承

SD3沿用了预训练模型来提取文本和图像的特征表示

具体来说

它用上了三种不同的文本嵌入器、两个CLIP模型和一个T5模型来对文本进行编码

同时采用了增强版的VAE来对图像进行编码

说白了

这套流程就是为了理解用户可能想要什么样的文字内容

以及与之匹配的图像

从而更好地理解提示的真正意图

最妙的是,得益于崭新的架构

SD3可以在同一个输入中同时接受文本嵌入和图像嵌入

并一次性完成所有操作

如这张图所示

文本嵌入和图像嵌入被送入同一个注意力模块进行处理

在内部

信息通过一种循环反馈的方式流动

这是许多模型的标准配置

经过汇总后

模型再输出最终的生成结果

总的来说

这套流程是基于扩散Transformer

并在此基础上构建出了SD3的架构

考虑到文本和图像在本质上的差异

SD3为它们各自采用了独立的权重

这相当于给每种模态配备了专属的Transformer

它们在各自的特征空间中运作

但是又能通过注意力机制实现信息的交互

可谓"分工不分家"。

正是这种机制

使得SD3能够更全面地理解跨模态的联系

进而输出更连贯的结果

这也是SD3努力想要同时利用文字和图片两种输入

并在同一个注意力模块中处理

而不是采用串行方式的原因所在

这个设计与SDXL高度相似

接下来看两张验证损失的曲线图

它们直观地展示了不同模型及其变体在训练过程中的表现

理想情况下,随着训练的推进

验证损失应该逐步降低

可以欣喜地看到

实际结果是与预期相符的

Stability AI表示

通过这种融会贯通的设计

信息可以在图像和文本之间自由流动

从而提升模型对生成内容的整体把握

此外

这种架构还可以轻松拓展至视频等其他模态

尽管论文对此有所讨论

但是官方对技术细节依然讳莫如深

值得一提的是,与其他模型相比

SD3在保留原始提示意图的同时

还能够灵活地生成多个差异化的版本

尤其欣赏Stability AI在即时提示跟随上的创新

官方表示

SD3能够在保证画面多样性的同时

还能够紧扣主题

并对画风有很大的控制力

以往

将主题表达与风格渲染割裂开来是件很头疼的事

尽管有些玩家通过优化UI和复杂的参数设置

在一定程度上实现了这一点

但是将其作为模型的内在逻辑

无疑更有前瞻性

报告中举了几个例子

这一切仅凭一句简单的文字提示就能实现

充分证明了SD3惊人的理解力和创造力

它能从简单的提示中提炼出丰富的细节和主题

论文中还提到了另一项创新

即通过重新加权(reweighting)噪声来改进整形流(rectified flow)。

这说明官方在模型训练中对噪声的处理上别有心得

简单来说,通过采用整形流公式或者RF

可以"拉直"模型的推理路径

从而以更少的迭代步数实现采样

换言之,这项技术不仅能降低训练成本

还能帮助模型在推理时不偏离正轨

避免出现崩溃

为了验证这一点

他们在60多个主流扩散模型上进行了测试

每次都采用了不同的数据集、评估指标和采样器设置

结果表明

尽管现有的RF方法在少量迭代步数下表现优异

但是随着步数的增加

性能反而出现下降

相比之下

SD3的RF版本却能持续提升性能

简而言之,在同等计算资源下

SD3能实现更高的目标

极大地提高了性价比

这是Stability AI的一记重拳

尤其是对Midjourney等直接竞争对手而言

坦白讲

这更像是在向投资者传递一个信号

如果给我们投钱

我们创造价值的效率将更高

如果我们细看AI初创公司的开销

GPU的采购和租赁往往是最大的一块

就连Stability AI这样的独角兽

也难逃被算力"缴械"的命运

另一个亮点在于

Stability AI成功地让一个80亿参数的"巨无霸"，

塞进了24GB显存的RTX 4090

尽管这与验证损失关系不大

但是足以证明SD3在模型压缩和推理优化上的造诣

事实上

他们展示的指标和验证损失之间存在强相关性

而后者是评判模型整体性能的重要依据

因此,如果训练更高效、猜测更准确

模型的性能就会更优秀

此外,官方指出

SD3的扩展趋势尚未见顶

不太可能遇到云端服务中常见的瓶颈

换言之,通过架构创新

他们在计算性能上取得了重大突破

在可预见的未来

SD3还有进一步升级的空间

随着算力的提升

我们有理由期待用更低的成本获得更优的结果

说到文本理解

这是Stability AI长期以来的一个重点

一以贯之地体现在其他实验性模型中

在SD3中,他们做了一些有趣的取舍

为了降低显存占用

他们砍掉了此前SDXL中使用的一个内存大户

那就是4.7亿参数的T5编码器

有趣的是,借助全新的架构

去掉T5并未明显影响视觉效果

只是略微损失了一点文本依附度

从基准测试的结果来看

即便完全移除这一模块

SD3的性能也基本无损

在保证画质的前提下

这种权衡可谓相当高明

官方还展示了一个案例

给定同样的雪貂提示

去掉T5前后的结果几乎一样

这恐怕是Stability AI迄今为止最硬核的一篇论文

行文晦涩

不太好啃

但作为我们吃瓜读者而言

只需要知道

Stability AI又拿出了一个含金量超高的的新绘画模型就好了

开源是全世界AI爱好者的福音