一文解读：Stable Diffusion 3究竟厉害在哪里？

最新推荐文章于 2025-03-21 17:54:51 发布

叫我Alonzo就好了

最新推荐文章于 2025-03-21 17:54:51 发布

阅读量4.2k

点赞数 22

分类专栏：成为伟大的炼丹师吧文章标签： stable diffusion 深度学习人工智能计算机视觉 stablediffusion 论文笔记论文阅读

本文链接：https://blog.csdn.net/weixin_38096064/article/details/136781770

版权

文章深入解读了StableDiffusion3如何通过改进DiffusionTransformer架构、优化forward路径、使用rectifiedflow和多文本编码器等技术，提升图像质量和采样效率，展示了其在生成模型中的独特优势。研究者还探讨了数据清洗和指令式图像编辑的应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

知乎原文：叫我Alonzo就好了

前言

最近一段时间，正当所有人都在为OpenAI发布Sora狂欢时，Stability AI更是推出了Stable Diffusion 3的技术报告。**这两项技术不约而同都采用了Diffusion Transformer的架构设计，之前我也在我的文章中进行了解读：Diffusion Transformer究竟好在哪里？感兴趣的朋友可以移步这篇文章，里面也对Stable Diffusion、Transformer、VQGAN等一些前置知识作了介绍。

值得注意的是，Stable Diffusion 3的强大性能其实并不仅限于Diffusion Transformer在架构上所带来的增益，其在提示词、图像质量、文字拼写方面的能力都得到了极大的提升。那么究竟是什么让Stable Diffusion 3如此强大？今天我们就从Stable Diffusion 3的技术报告中解读stable diffusion 3强大背后的技术原理。
在这里插入图片描述

研究动机

Stable Diffusion 3的研究动机其实是从数据加噪的forward路径上出发的。 作者指出，如果forward路径并非最优路径，那么就会导致扩散模型在训练过程中没有办法从输入加噪数据中完全去除噪声，那么在测试的过程中，模型就会生成一些带有artifacts的结果，例如灰度图像。
特别地，forward的选择也会影响backward路径的计算复杂度，也就是采样效率（sampling efficiency），进一步影响到图片生成的速度。
尽管我们可以整合额外采样步数，通过曲线路径来尽可能地仿真最优路径，但是曲线路径仍然存在错误累计的问题。对此，直线路径（也就是通过一步直接进行仿真）会减少错误累积的发生。
对于这个问题，有一个特别的解决方案，也就是rectified flow。recitified flow已经在小中型的实验上证明了其有效性，而在Stable Diffusion 3的设定中，模型规模从800M进一步扩大至了8Bÿ