Stable Diffusion 3 架构细节大揭秘

已于 2024-05-02 01:46:33 修改
阅读量1.6k 收藏 29
点赞数 28
文章标签： 人工智能 stable diffusion
于 2024-03-07 09:51:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lichunericli/article/details/136524673
版权
Stable Diffusion 3 模型在文本到图像生成方面取得重大进步，采用 MMDiT 架构结合改进的 Rectified Flow，提升了图像质量和文本对齐。论文揭示了其在不同规模模型上的扩展性，以及在减少内存需求的同时保持高性能。模型在多项指标上超越现有先进系统，有望降低 AI 大模型的使用门槛。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在众多前沿成果都不再透露技术细节之际，Stable Diffusion 3 论文的发布显得相当珍贵。

Stable Diffusion 3 的论文终于来了！

参考链接：https://stability.ai/news/stable-diffusion-3-research-paper

这个模型于两周前发布，采用了与 Sora 相同的 DiT（Diffusion Transformer）架构，一经发布就引起了不小的轰动。

与之前的版本相比，Stable Diffusion 3 生成的图在质量上实现了很大改进，支持多主题提示，文字书写效果也更好了（明显不再乱码）。

Stability AI 表示，Stable Diffusion 3 是一个模型系列，参数量从 800M 到 8B 不等。这个参数量意味着，它可以在很多便携式设备上直接跑，大大降低了 AI 大模型的使用门槛。

在最新发布的论文中，Stability AI 表示，在基于人类偏好的评估中，Stable Diffusion 3 优于当前最先进的文本到图像生成系统，如 DALL・E 3、Midjourney v6 和 Ideogram v1。不久之后，他们将公开该研究的实验数据、代码和模型权重。

最低0.47元/天 解锁文章
lichunericli
关注
Stable Diffusion 3 论文及源码概览
强化学习曾小健
07-14 2446
流匹配是一种定义图像生成目标的方法，它可以兼容当前扩散模型的训练目标。流匹配中一个有代表性的工作是整流 (rectified flow)，它也正是 SD3 用到的训练目标。我们会在本文中通过简单的可视化示例学习流匹配的思想。由于 SD3 最后用了整流模型来建模图像生成，所以文章是从一种称为流匹配 (Flow Matching) 的角度而非更常见的扩散模型的角度来介绍各种训练目标。
揭秘AI人工智能中Stable Diffusion的训练方法
AI天才研究院
04-02 731
近年来，文本到图像生成技术取得了显著进展，Stable Diffusion作为其中的佼佼者，能够根据输入的文本描述生成高质量的图像。本文的目的在于深入剖析Stable Diffusion的训练方法，涵盖其核心原理、算法细节、实际应用以及未来发展等方面。通过详细的讲解和示例，帮助读者全面理解Stable Diffusion的训练机制，为相关领域的研究和实践提供参考。本文将按照以下结构进行组织：首先介绍Stable Diffusion的背景和相关术语；接着阐述其核心概念和联系，包括原理和架构；
Stable Diffusion 3.0技术论文解读
浪漫韫秋
03-14 1281
赋予了Stable Diffusion 3惊人的能力。Stable Diffusion的强项在于。作为基准,它轻松碾压了所有竞品。固然能生成让人叹为观止的画面。而无需事后大动干戈地修修补补。的采购和租赁往往是最大的一块。真正让人惊喜的是SD3的。这正是他们将新架构命名为。在一定程度上实现了这一点。AI绘画领域扔出了一颗。造成这种局面的根本原因。对于从文本到图像的生成。割裂开来是件很头疼的事。对噪声的处理上别有心得。换言之,这项技术不仅能。但作为我们吃瓜读者而言。官方放出了一篇详尽的。这篇论文本质上是介绍。
Stable Diffusion 基础模型结构超级详解！
关于我的学习记录
03-25 1129
第一个只用来解决序列到序列问题的模型，最早被 Google 用来解决对于中英翻译而言，需要解决三个具体的问题：如何用数字表示中文和英文如何让神经网络理解语义如何让神经网络生成英文。
开源之光 Stable Diffusion 3 技术论文全解：公式占一半，实验很充分！
zengxiaojian2的博客
11-23 1180
扩散模型通过噪声创建数据。它们被训练来反转数据向随机噪声的正向路径，因此，结合神经网络的近似和泛化性质，可以用来生成不在训练数据中但遵循训练数据分布的新数据点。这种生成建模技术已被证明在建模高维感知数据，如图像方面非常有效。近年来，扩散模型已成为从自然语言输入生成高分辨率图像和视频的事实标准方法，具有令人印象深刻的泛化能力。由于它们的迭代性质及相关的计算成本，以及推理期间的长时间采样，对这些模型进行更有效的训练和/或更快速的采样的研究已经增加。
架构细节大揭秘，Stable Diffusion 3 论文技术解析！
AI科技大本营
03-11 3925
【编者按】2024年3月5日，Stability AI 发布了研究论文《Scaling Rectified Flow Transformers for High-Resolution Image Synthesis》，详细地介绍了 Stable Diffusion 3 的底层技术。Stable Diffusion 3采用了与 Sora 相同的 DiT（Diffusion Transformer）架...
【stable diffusion模型】深入了解Stable Diffusion模型架构和核心组件（CLIP/Unet/VAE）
2401_84760322的博客
11-14 3753
Stable Diffusion 是一种基于扩散技术的深度学习文本转图像模型，利用潜在扩散模型（Latent Diffusion Model，LDM）来生成高质量的图像。它主要用于生成以文字描述为条件的详细图像，但也可应用于其他任务，如 inpainting（图像修复）、outpainting（图像扩展）以及根据文字提示词生成图像到图像（image-to-image）的转换。
揭秘AI人工智能中Stable Diffusion的图像生成原理
最新发布
AI智能探索者的博客
04-29 1020
Stable Diffusion作为一种强大的图像生成技术，在艺术创作、设计、娱乐等多个领域展现出了巨大的潜力。本文的目的是深入剖析Stable Diffusion的图像生成原理，帮助读者理解其背后的技术细节。范围涵盖了从核心概念的介绍到具体算法的实现，以及实际应用场景和未来发展趋势等方面。本文将按照以下结构进行阐述：首先介绍Stable Diffusion的核心概念与联系，包括潜在扩散模型的架构；接着详细讲解核心算法原理和具体操作步骤，并给出Python代码示例；然后介绍相关的数学模型和公式；
本地运行 ComfyUI 中运行稳Stable Diffusion 3 ：下载模型和工作流程
iCloudEnd的博客
06-13 853
经过漫长的等待，甚至对稳定扩散的第三次迭代是否会发布的怀疑，模型的权重现在已经可用！
揭秘AI艺术生成：Stable Diffusion实战教程（2024最新版）
AI 领航者的博客
04-29 684
2024年，AI艺术生成已从“实验性技术”发展为“生产力工具”。Stable Diffusion作为开源领域的标杆模型，其生态在过去一年经历了跨越式升级：SDXL 1.0将生成分辨率提升至1024x1024并增强多模态理解，ControlNet 2.0支持10+新控制类型（如3D深度图、运动光流），LoRA 3.0实现更高效的个性化微调。本文聚焦这些最新技术，覆盖原理讲解、代码实战、场景落地全流程，帮助读者从理论到实践掌握前沿AI艺术生成技术。
【AIGC】Stable Diffusion原理快速上手，模型结构、关键组件、训练预测方式
Life is short
04-20 7259
在这篇博客中，将会用机器学习入门级描述，来介绍Stable Diffusion的关键原理。目前，网络上的使用教程非常多，本篇中不会介绍如何部署、使用或者微调SD模型。也会尽量精简语言，无公式推导，旨在理解思想。让有机器学习基础的朋友，可以快速了解SD模型的重要部分。如有理解错误，请不吝指正。
新智元 | Stable Diffusion 3技术报告流出，Sora构架再立大功！生图圈开源暴打Midjourney和DALL·E 3？
csdn_xmj的博客
03-12 1197
Stability AI放出了号称能暴打闭源模型的Stable Diffusion 3的技术报告，采用DiT构架的新模型在灵活性和性能上都达到了新的高度。，今天公布了详细的技术报告。论文深入分析了——改进版的Diffusion模型和一个基于DiT的文生图全新架构！
Stable Diffusion之最全详解图解
热门推荐
DFCED的博客
02-14 2万+
Stable Diffusion是2022年发布的深度学习文本到图像生成模型。它主要用于根据文本的描述产生详细图像，尽管它也可以应用于其他任务，如内补绘制、外补绘制，以及在提示词指导下产生图生图的转变。它是一种潜在扩散模型，由慕尼黑大学的CompVis研究团体开发的各种生成性人工神经网络之一。它是由初创公司StabilityAI、CompVis与Runway合作开发，并得到EleutherAI和LAION的支持。截至2022年10月，StabilityAI筹集了1.01亿美元的资金。
Stable Diffusion 3 来了 —— 充满了巨大的改进
数智笔记
02-24 1466
Stable Diffusion 3 是来自 Stability AI 的最新、能力最强的文本到图像模型。它在处理多主题提示、图像质量甚至文本渲染能力方面都有显著改进。该模型套件目前的参数范围从 8 亿到 80 亿。它结合了扩散变换器架构（类似于 Sora）和流匹配。扩散变换器架构扩散变换器（DiT）架构是一种新颖的扩散模型类别，它结合了变换器技术。与通常使用卷积 U-Net 骨干的传统扩散模型不同，DiT 使用变换器在图像的潜在块上进行操作。扩散变换器（DiT）架构。
Stable Diffusion v3---
whaosoft143ai的博客
02-23 1152
用于扩展这些模型以支持高分辨率图像合成的方法也各不相同，现有方法或是增加了训练的复杂性，或是需要额外的模型，或是牺牲了质量。具体来说，论文提出了一种基于 Transformer 架构的新型扩散模型 DiT，并训练了潜在扩散模型，用对潜在 patch 进行操作的 Transformer 替换常用的 U-Net 主干网络。在扩散模型的范围内，所使用的骨干架构存在很大差异，包括基于 CNN 的、基于 Transformer 的、CNN-Transformer 混合，甚至是状态空间模型。whaosoft aiot
AI绘图的场景应用：文生图、图生图
qq_41314882的博客
03-15 5163
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
Stable Diffusion 3报告
蒲松龄
05-21 1482
Stable Diffusion 3采用了与Sora相同的DiT（Diffusion Transformer）架构，并在排版和提示遵守方面表现优于DALL·E 3、Midjourney v6和Ideogram v1等最先进的文本到图像生成系统。SD3模型套件的参数范围在800M和8B之间，为用户提供了从轻量级到高性能的不同选择，以满足不同场景的创意需求。SD3的核心技术是多模态扩散变换器（MMDiT）架构，它使用分离权重集合来处理图像和语言表示，相比之前的版本，显著改善了文本理解和拼写能力。
Stable Diffusion 3 真正来了
云水木石
06-15 1069
在人工智能应用领域，文生图（Text-to-Image）一直是一个重要的研究领域。通过将文本描述转换为对应的图像，广泛应用在艺术创作、广告设计、游戏开发等工作中。在众多的文生图模型中，Stable Diffusion 因其高质量的图像生成能力、开源等特性，使得它在文生图领域独树一帜，赢得了广泛的关注。如今，Stable Diffusion 3 真正来了。为什么说是真正来了呢？因为早在今年 4 月，...
stable　diffusion3架构
12-26
### Stable Diffusion 3 架构概述 Stable Diffusion 3 的架构基于改进的U-Net结构，这是一种广泛应用于图像生成任务中的网络设计[^1]。该模型通过引入更深层次的特征提取层以及优化后的跳跃连接机制来提升性能。 #### 编码器部分 编码器负责接收输入图片并逐步降低分辨率以捕捉高层次语义信息。这一过程涉及多个卷积操作和下采样步骤，在每一步都保留重要的上下文细节以便后续解码阶段利用。 #### 解码器部分 解码器则相反地工作，它从低维表示恢复到原始尺寸的高质量输出图像。为了实现这一点，采用了反向传播路径上的上采样技术和条件注入方法，使得生成的结果更加贴近目标样式或属性的要求。 #### 扩散过程 扩散模型的核心在于其迭代式的噪声去除流程。具体来说，就是按照预定的时间步长逐渐减少加诸于初始数据之上的随机扰动量级，直至最终得到清晰连贯的目标产物。此过程中涉及到复杂的概率分布建模与参数调整策略，从而确保合成效果既自然又可控。 #### 图像到图像转换功能 值得注意的是，借助SDEdit技术的支持，Stable Diffusion能够执行由一张源图映射至另一张具有特定变化特性的新图的任务。这种能力极大地扩展了应用场景范围，允许用户轻松定制化处理各种视觉素材[^3]。 然而需要注意的是，由于训练所依赖的数据集可能存在偏差，因此在实际应用中应当警惕由此引发的社会伦理风险，比如不公平表征或是刻板印象再现等问题[^4]。 ```python import torch.nn as nn class UNet(nn.Module): def __init__(self): super(UNet, self).__init__() # Define encoder layers here def forward(self, x): # Implement encoding process class DecoderBlock(nn.Module): def __init__(self): super(DecoderBlock, self).__init__() # Define decoder components including upsampling mechanisms def diffuse(x, timesteps): # Simulate noise addition/removal over time steps according to diffusion algorithm ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值