图像生成模型王牌——Diffusion Transformers系列工作梳理

最新推荐文章于 2025-03-18 21:30:32 发布
最新推荐文章于 2025-03-18 21:30:32 发布
阅读量1.6k 收藏 10
点赞数
原文链接：https://mp.weixin.qq.com/s?__biz=MzIyOTkyOTEzOQ==&mid=2247505436&idx=1&sn=a0771e0f936da1262a128a71e1e8d15c&chksm=e9a0d0e4f632b95f1244f0484e33711c3c1f2eb57d34a2b5ac74394a51d866cfa1b0a4c3b8f1&scene=126&sessionid=0
版权

图像生成模型是目前业内研究的焦点，而目前诸如Sora等前沿生成模型，其所基于的主体架构都是Diffusion Transformers（DiT）。Diffusion Transformers（DiT）是论文Scalable Diffusion Models with Transformers（ICCV 2023）中提出的，是扩散模型和Transformer的结合，也是Sora使用的底层生成模型架构，将Diffusion Transformers从图像生成扩展到了视频生成。这篇文章给大家总结了目前主要的几个DiT模型结构，带大家梳理DiT系列模型的核心。

1

DiT

在之前的图像生成扩散模型中，底层的网络结构一般都是U-Net。而本文基于Vision Transformer（ViT）中的Transformer图像分类模型结构，替代扩散模型中的U-Net，得到DiT模型，实现了更优的生成效果。

在输入部分，基本采用了和ViT相同的方法。对输入的图像分成多个patch，并转换成一个token序列，每个token拼接上相应的position embedding。这个底层的embedding序列作为后续DiT模块的输入。

1fceb48b278b4cfcbc94a549b0cd61bf.png

在扩散模型中，Transformer除了像ViT那样输入图像patch token序列，往往还要输入一些额外的信息，包括扩散模型中当前的生成时间步、文本信息的输入等，如何将这些信息输入到DiT中，文中尝试了几种方案。最简单的方法是将这些额外的embedding直接拼接到原始的序列上。第二种是将外部的embedding单独拼接成一个序列，和原始的图像patch序列额外做一个cross attention。第三种方法是修改Transformer中的layer normalization模块，将其替换成adaptive layer normalization，LN的均值和方差由外部embedding的加和生成。第四种是在第三种的基础上，引入了基于外部embedding生成的缩放因子，对multi-head attention的输出进行缩放。

0aaef7ec39e9656c84fe5a2a2faebe2e.png

在经过多层的DiT模型后，需要将预测的噪声结果还原出来，这里使用一个MLP作为Decoder，将DiT生成的结果映射到噪声预测结果。

上述就是DiT的整体结构，主要还是Vision Transformer。用这个DiT结构，替代扩散模型中的去噪模块，也就是噪声预测网络，就是DiT模型

从实验对比中可以看出，DiT的生成效果是超过基于U-Net等之前的SOTA模型的。

28835bb8c43e14ab9bcde95ecc07903d.png

97f763255b5d4c56db7d393887dbd156.png

2

U-ViT

U-ViT是另一个基于ViT的扩散模型网络。U-ViT也是将扩散模型中的噪声预测网络替换成Transformer结构，并且借鉴了U-Net等传统CV模型中的残差网络思路，每一层的输出都会通过龙skip connection加到更深层的网络中。此外，文中对一些模型结构也进行了尝试，包括残差网络怎么加，是直接拼接到深层+MLP还是add到生成；扩散步骤embedding怎么加入到U-ViT中；以及Transformer之后的卷积网络怎么加。

43a67219e1b0eb3b5b49c7361e30651f.png

3

MDT

MDT发表于论文Masked diffusion transformer is a strong image synthesizer（ICCV 2023），在DiT的基础上，引入了mask latent modeling，进一步提升了DiT的收敛速度和生成效果。

文中分析发现，DiT在学习过程中，并不能很好的学习各个语义单元之间的关系。为了解决这个问题，MDT引入了一个重构任务，对输入的图像的部分patch进行mask，然后使用一个Transformer模型在生成过程中，对这部分被mask掉的patch进行还原。在扩散模型中，每一层MDT输入被mask掉一部分的token序列，只根据这部分序列进行噪声预测。同时，使用一个Transformer网络来还原被mask掉的部分。通过这种方式，让模型在学习过程中强行学习patch之间的关系。同时通过position embedding的引入提升对mask token的还原能力。

由于在生成阶段，decoder在处理token的时候都是没有mask的，训练的时候是mask的，这种不一致会影响效果。因此文中采用side-interpolater，对被mask掉的部分使用side-interpolater的预测结果，融合上没被mask的结果，保证训练和预测阶段decoder的输入都是没有mask掉的。

14f8fd19c682a3bcd753bd2d6290763f.png

4

Diffit

Diffit是英伟达发表于论文Diffit: Diffusion vision transformers for image generation（2023）中的一种方法，也是Diffusion Transformer的一个变体，在模型结构上进行了改进。整体的结构类似于U-Net和Transformer的结合，通过增加downsample和upsample实现层次性的建模。

e16944c7370c9f21bd7d9a7fbd7e1664.png

Diffit在引入扩散步骤embedding的时候，采用了一种Time-dependent Self-Attention的方式，即将步骤embedding直接加入到输入token序列上，让self-attention在计算的过程中就考虑到扩散步骤的信息。在模型结构上，采用U-Shape的形式，Encoder部分每一层Transformer后做downsample，来提取不同分辨率下的图像信息，Decoder部分再逐渐upsample。

a7250b54ba5800523abe79e01fa97ee5.png

fd38a1cc8951f61512249b5a2f0133df.png

END

8930e7f8dfef575a7cb1a13181b816b5.png

分享

收藏

点赞

在看

58c5b7764904bb393e787292cad1ff0e.gif

Scalable diffusion models with transformers
liguandong
11-07 2661
首先是一个patch embedding来将输入进行patch化，得到一系列的tokens，其中patch size属于一个超参数，直接决定了tokens的数量，影响模型的计算量。由于对输入进行了token化，所以在网络的最后还需要一个decoder来恢复输入的原始维度，DiT采用一个简单的linear层来实现，直接将每个token映射为pxpx2C的tensor，然后再进行reshape来得到和原始输入空间维度一样的输出，但是特征维度大小是原来的2倍，分别用来预测噪音和方差。
AIGC实战——生成模型简介
热门推荐
盼小辉丶的博客
08-29 8万+
生成式人工智能是一种人工智能方法，旨在通过学习训练数据的分布模型来生成新的、原创的数据。人工智能生成内容 (Artificial Intelligence Generated Content, AIGC) 是生成式人工智能的一个具体应用和实现方式，是指利用人工智能技术生成各种形式的内容，如文字、图像、音频和视频等。本节将介绍生成模型基本概念，首先介绍生成模型的基本概念，然后，构建用于衡量生成模型性能的框架，并介绍一些重要的核心概念。然后，介绍当前主流的生成模型技术及其分类。
DiT（Diffusion Transformer）详解——AIGC时代的新宠儿
分享包括但不限于计算机基础知识、数据结构与算法、Golang技术栈。年与时驰，意与日去，遂成枯落，多不接世，悲守穷庐，将复何及！
11-25 8705
本文详细介绍DiT（Diffusion Transformer）了，DiT作为AIGC时代的新宠儿，将Transformer和Diffusion结合，在图像和视频生成
【论文精读】Diffusion Transformer（DiT）
weixin_44934783的博客
02-23 4771
Diffusion Transformer（DiT）
Diffusion Transformers (DiTs) - 用Transformer革新Diffusion模型
最新发布
阿正的梦工坊
03-18 1535
这篇博客将为熟悉Diffusion模型和U-Net的读者详细解读DiTs的核心贡献、组成模块、数据流方向，以及它解决的问题和生成图像的过程。
一文带你搞懂DiT（Diffusion Transformer）
2401_84033492的博客
05-25 2万+
扩散模型的核心思想：Diffusion Models是一种受到非平衡热力学启发的生成模型，其核心思想是通过模拟扩散过程来逐步添加噪声到数据中，并随后学习反转这个过程以从噪声中构建出所需的数据样本。
Diffusion Transformer（DiT）—— 图像视频生成领域的新王，Sora的背后功臣
代码世界的博客
09-27 1439
DiT，即Diffusion Transformer，是一种新型的扩散模型，它将传统扩散模型中的U-Net架构替换为Vision Transformer（ViT），并针对Diffusion Model特点修改模型，旨在提升图像生成性能。通过扩展模型大小和输入token的数量，DiT模型在保持计算效率的同时，达到了新的性能高度。
扩散模型（Diffusion Model）——生成模型
m0_75253143的博客
08-09 6350
扩散模型（Diffusion Model）是一种生成模型，最近在图像生成、视频生成、语音合成等领域取得了显著的进展。与传统的生成对抗网络（GAN）和变分自编码器（VAE）不同，扩散模型通过逐步将噪声添加到数据并反转这一过程来生成新样本。
AIGC实战——扩散模型(Diffusion Model)
盼小辉丶的博客
02-26 8755
本节介绍了最近最先进的生成模型之一，扩散模型。介绍了去噪扩散概率模型 (Denoising Diffusion Probabilistic Model, DDPM)，并利用去噪扩散隐式模型 (Denoising Diffusion Implicit Model, DDIM) 的思想，使生成过程具备完全的确定性。扩散模型由前向扩散过程和逆扩散过程组成，前向扩散过程通过一系列小步骤向训练数据添加噪声，而逆扩散过程中模型的目标是预测添加的噪声。
大模型之二十六- 图像生成Diffusion model实例浅析
shichaog的专栏
08-25 1079
在2022年，midjourney、DALL-E以及Stable Diffusion三个文生图模型引爆了机器生产文生图领域，他们的模型能够在可控条件（标签、文本描述）下生成高分辨率、细节丰富的多样性图像，这在视觉上往往难以与真实图像区分。以下是他们几个简单的效果对比图。学术和工业界对他们采用的 Diffusion 模型兴趣迅速增长，导致了大量的研究、改进和创新。这推动了技术的发展和成熟，进一步扩大了它们的应用范围和影响力。本篇文章通过一个汽车图片生成的无条件Diffusion模型阐述这一原理。
扩散模型代码实战：无条件图像生成扩散模型
沉迷单车的追风少年
10-11 1259
无条件生成模型是最经典的扩散模型生成任务，是指模型经过训练后，生成与其训练数据分布相似的图像。由于不需要复杂的条件控制，非常适合刚入门的读者学习扩散模型的本质知识。这篇博客以代码为主，以原理为基石，深入讲解如何训练和推理无条件图像生成扩散模型。
解密 Sora 背后的魔法——Diffusion Transformer
略懂……略懂……
05-01 3406
随着 Sora 惊艳世界，Transformer 正逐渐替代 U-Net，成为图像和视频生成领域的新宠。本文将带大家揭示 Sora 背后的秘密，一同探索 Diffusion Transformer 的原理。
Diffusion Transformers (DiTs)
weixin_41113437的博客
07-27 219
本文探索了一类新的基于 Transformer 的扩散模型 Diffusion Transformers (DiTs)。本文训练 latent diffusion models 时，使用 Transformer 架构替换常用的 UNet 架构，且 Transformer 作用于 latent patches 上。本文探索了...
Transformers18~ Diffusion
whaosoft143ai的博客
12-22 898
如图 2（右）所示，相对于 LDM-4（103.6 Gflops）这样的潜在空间 U-Net 模型来说，DiT-XL/2（118.6 Gflops）计算效率高得多，也比 ADM（1120 Gflops）或 ADM-U（742 Gflops）这样的像素空间 U-Net 模型效率高很多。可以发现，增加模型大小和减少 patch 大小会对扩散模型产生相当大的改进。这一发现表明，扩散模型可以从架构统一趋势中受益，例如，扩散模型可以继承其他领域的最佳实践和训练方法，保留这些模型的可扩展性、鲁棒性和效率等有利特性。
（2023|ICCV，DiT，扩散 transformer，Gflops）使用 Transformer 的可扩展扩散模型
qq_44681809的博客
01-15 3124
本文提出 DiT：训练 LDM，将 U-Net 骨干替换为在潜在 patch 上操作的 Transformer。本文通过前向传播复杂度的角度分析 DiT 的可扩展性，该复杂度由 Gflops 衡量。
Diffusion Transformer模型结构解析（DiT、SD3、Flux）
weixin_44966641的博客
11-14 3075
从 UNet 迁移到 DiT，可以利用 Transformer 模型的 scaling 能力，通过增大参数量来提升出图的质量。在这个迁移过程中，我们需要考虑 Transformer 应用于扩散模型时的 patchify、positional encoding、conditioning 等几个重要环节。DiT 首先提出，确立了 patchify 的方法，并实验得到 adaLN 是比较适合 Diffusion Transformer 的 conditioning 方式；
DiT解读：当Diffusion遇上Transformer
JJ-Li的博客
04-20 5100
DiT论文解读，Diffusion结合Transformer，前置知识讲解，sora技术猜测
DiT：从理论到实践，一文深入浅出带你学习Diffusion Transformer
记录成长
01-16 1192
DiT模型使用Transformer作为其主干网络，替代了传统的U-Net架构。这些模型在Latent Space中训练，通过变换器处理潜在的图像块（patches）。其中，每个tokens在序列中都有一个隐藏维度d，即向量大小。
Diffusion 图像生成模型基本原理
02-20
### 扩散模型（Diffusion Model）在图像生成方面基本原理 #### 初始噪声注入 扩散模型的核心概念之一是在初始阶段向系统中引入高斯分布产生的随机噪声。这种噪声被设计成与最终期望生成的图像具有相同的维度大小，从而确保两者之间的一致性和兼容性[^1]。 #### 渐进去噪过程 随着迭代次数增加，在每一步骤里都会逐步减少之前加入的人工噪音成分。此过程中涉及到一系列精心构建的概率转换操作，这些操作遵循特定规律逐渐使含噪数据趋向于纯净的目标样本——即真实的自然图像表示形式。具体而言，通过定义前向扩散过程中的加法机制来模拟从清晰到模糊的变化路径；而逆向恢复则依赖于神经网络学习如何有效地逆转这一退化趋势并重建高质量视觉内容的能力[^3]。 #### 文本引导下的图像合成 对于那些支持文本输入作为条件约束的版本来说，比如DALL·E 2所采用的技术框架，则额外包含了两个重要组成部分：一是CLIP编码器负责捕捉语义信息并与潜在空间内的对应关系建立联系；二是先验预测模块用于实现跨模态映射任务，即将给定的文字描述转化为适合后续解码环节处理的形式化表达[^2]。 ```python import torch from diffusers import StableDiffusionPipeline, EulerDiscreteScheduler model_id = "CompVis/stable-diffusion-v1-4" scheduler = EulerDiscreteScheduler.from_pretrained(model_id, subfolder="scheduler") pipe = StableDiffusionPipeline.from_pretrained(model_id, scheduler=scheduler) prompt = "A beautiful landscape painting with mountains and rivers." image = pipe(prompt).images[0] image.save("output_image.png") ``` 上述代码片段展示了利用预训练好的稳定扩散管道执行简单文字转图片的任务流程。这里选用的是`StableDiffusionPipeline`类及其关联组件完成整个工作流的设计与实施[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值