DiT解读：当Diffusion遇上Transformer

最新推荐文章于 2024-07-02 23:05:28 发布
最新推荐文章于 2024-07-02 23:05:28 发布
阅读量3.5k 收藏 42
点赞数 26
分类专栏： 计算机视觉 文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lijj0304/article/details/137997115
版权
本文探讨了ViT和U-Net在计算机视觉领域的应用，着重介绍了DiT模型，它是通过将扩散模型与Transformer结合，解决CNN感受野限制问题，以及如何在DiTBlock中有效整合各类特征信息以提高性能。同时提到了Sora与其的关系，以及相关研究的论文和源码链接。
摘要由CSDN通过智能技术生成

前置知识

ViT

Vision Transformer是一种基于Transformer架构的深度学习模型，专门用于处理计算机视觉任务。他的1出现给以往CNN base的图像工作带来了很多新的可能性

ViT的核心思想是将图像分割成均匀的图像块，然后将这些图像块转换为序列，并将序列输入Transformer模型进行处理。这使得ViT可以利用Transformer模型强大的序列建模能力来处理图像数据，避免了传统CNN需要手工设计、调整网络层次结构的缺点。ViT的工作流程大致如下：

  1. 输入图像被分割成固定大小的图像块。
  2. 每个图像块通过一个可学习的线性投影（projection）映射到特征空间，并与位置编码（position embeddings）结合，形成Transformer模型所需的输入序列。
  3. 将这些输入序列输入到Transformer编码器中进行处理。
  4. 最终，通过Transformer的输出进行任务相关的预测。

U-Net

U-Net是一种用于图像分割任务的深度学习架构，它的名字来源于其U形状的网络结构。U-Net在医学影像分割等领域取得了很大成功，也被广泛用于其他图像分割任务。

U-Net的结构包含两部分：编码器（Encoder）和解码器（Decoder）。整体结构如同一个U字形，因此得名U-Net。具体工作流程如下：

  1. 编码器（Encoder）： 编码器由一系列卷积层和池化层组成，用于提取输入图像的特征并逐步减小特征图的尺寸。
  2. 跳跃连接（Skip Connections）： 在每一层的编码器中，将特征图与对应层的解码器中的特征图进行连接，这种连接保留了高分辨率的特征信息。
  3. 解码器（Decoder）： 解码器由一系列卷积层和上采样（或反卷积）层组成，用于将编码器提取的特征映射恢复为与输入图像相同大小的分割结果。
  4. 输出层： 最后一层经过适当的激活函数（如sigmoid或softmax）产生最终的分割结果。

Diffusion Model

Diffusion model是一种用于建模数据分布的概率生成模型。它提供了一种对数据分布进行建模的方法，特别适用于处理具有复杂结构和高维度的数据。

Diffusion model的核心思想是通过一系列迭代步骤来逐渐将初始数据分布“扩散”（diffuse）到目标数据分布。在这些迭代步骤中，模型会逐渐将噪声注入原始数据，从而使原始数据在逐步迭代的过程中逼近目标数据分布。训练过程通常包括以下步骤：

  1. 初始化： 从一个简单的初始分布开始，例如高斯分布。
  2. 扩散过程： 在每个迭代步骤中，模型会通过引入逐渐增加的噪声来扩散数据分布。这个噪声可以是随机的，也可以是通过模型生成的。
  3. 反向过程： 每个迭代步骤之后，模型将尝试逆向这个扩散过程，使得扩散后的数据逼近目标数据分布。
  4. 训练目标： 模型的训练目标通常是最小化生成数据与真实数据分布之间的差异，例如通过最大似然估计或其他损失函数进行优化。

LDM(Latent Diffusion Model)

Latent Diffusion Model（潜变扩散模型）是一种生成模型，是对Diffusion Model的一种扩展和改进。它结合了变分自动编码器（VAE）的思想和概念，以更好地建模数据分布和学习高质量的数据表示。

Latent Diffusion Model的核心思想是在Diffusion Model的基础上引入潜在变量，并通过潜在变量来表示数据空间中的不确定性。这种方法使得模型更具灵活性和表达能力，能够更好地处理数据中的高维度、复杂性和多模态性。

模型结构

DiT的模型的基础架构如图，左边的*N可以看作是一个不断循环叠加的过程。可以发现这其实就是transformer的编码器架构，和ViT的区别是不大。DiT他的主要改进是运用到了扩散模型的流程当中

我们从LDM的设计图上可以看到他的核心其实就是U-Net结构的网络，上面的一段是先用VAE编码压缩图片，然后的模拟扩散过程得到ZT。接下来获取到相关的语义图，文本信息，以及各种潜在变量集合起来传入U-Net大网络，图片除了做卷积之外，还和其他的这些关键信息做注意力机制，以学习到图片的深层语义信息和类别信息等内容之间的关系。

在DiT中，作者创新的改造了LDM这个网络，把U-Net这一步换成了transformer的方式，其就是在中间的去噪步骤去除了CNN相关的操作，统一接入了transformer架构，新的大模型可以理解成下图的形式。这种方式的好处就是解决了CNN感受野限制的问题，图像可以通过自注意力机制来得到更加全面的信息

DiT Block的设计

DiT Block的设计是这个文章最关键的部分。对于各种相关的特征信息，比如图像的类别，扩散的步数这些信息，作者也尝试了很多种方式去把他们结合起来，并且做了很多的实验去对比，最后选择了N-Zero这种方式。

右边的两种方式其实都比较好理解。最右侧的In-Context方法就是把这些信息只是当作一个token去接入，然后forward训练，效果不好也是可以理解的。

中间的交叉注意力的方式就是在中间环节菜用上这些信息，其实效果提升也不大。

On-Zero的方式就是在每个环节都会结合上这些关键信息，模型能够更好地把深层信息和他们关联起来

这是一个形象化的效果图，原本在U-Net中的图片形式在DiT中被展开成了token的形式来进行学习。

规模效果

作者还实验对比了不同的模型规模以及patch_size对于模型性能的影响，实验结果如下，模型的参数量的提升都会提升模型的性能，但是后面边界效应也明显。更小的path_size会有更多的token，模型可以学习到更多的细节

Sora和DiT的联系

Sora的工作其实也是基于DiT，不过这里输入训练的是视频。首先把视频分成一帧一帧输进入做扩散以及ViT编码，每一帧的图片都要结合前后时间的编码，同时可还有另外一侧专门的文字prompt输入做注意力机制辅助可控生成，最终才可以达到我们锁看到的那种生成视频的效果

论文和源码

[2212.09748] Scalable Diffusion Models with Transformers (arxiv.org)

facebookresearch/DiT: Official PyTorch Implementation of "Scalable Diffusion Models with Transformers" (github.com)

哆啦叮当
关注
  • 26
    点赞
  • 踩
  • 42
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Sora核心之一：当Diffusion遇到Transformer，DiT的前世今生
pku_langzi的博客
02-19 2835
Diffusion与Tranformer结合的代表性文章
解读OpenAI视频生成模型Sora背后的原理：Diffusion Transformer
沉迷单车的追风少年
02-18 2946
OpenAI最近推出的视频生成模型Sora效果上实现了真正的遥遥领先，很多博主都介绍过Sora的效果，但是深入解读背后原理的博客却非常少。Sora的原理最主要的是核心模型主干《Scalable Diffusion Models with Transformers》和训练不同尺寸视频方法《Patch n' Pack: NaViT, a Vision Transformer for any Aspect Ratio and Resolution》。这篇博客详细解读Diffusion Transformer结构，
一文带你搞懂DiT（Diffusion Transformer）
2401_84033492的博客
05-25 6542
扩散模型的核心思想：Diffusion Models是一种受到非平衡热力学启发的生成模型，其核心思想是通过模拟扩散过程来逐步添加噪声到数据中，并随后学习反转这个过程以从噪声中构建出所需的数据样本。
终极指南：RNNS、Transformers 和 Diffusion 模型
最新发布
gongdiwudu的专栏
07-02 2346
作为广泛使用这些工具和模型的人，我的目标是解开 RNN、Transformer 和 Diffusion 模型的复杂性和细微差别，为您提供详细的比较，为您的特定需求提供正确的选择。
填补领域空白！TerDiT：首次探索大规模DiT模型量化问题（MMLab出品）
AIGCer的博客
05-29 995
论文链接：https://arxiv.org/pdf/2405.14854 项目链接：https://github.com/Lucky-Lance/TerDiT 最近在大规模预训练的文本到图像扩散模型方面的发展显著提高了高保真图像的生成能力，特别是基于transformer架构的扩散模型（DiTs）的出现。在这些扩散模型中，扩散transformer展示了卓越的图像生成能力，降低了FID分数并提高了可扩展性。然而，由于其庞大的参数数量，部署大规模的DiT模型可能会非常昂贵。尽管现有研究已经探索了扩散
DataWhale公开课笔记2：Diffusion Model和Transformer Diffusion
ove_z的博客
03-09 1492
datawhale学习笔记2
【论文阅读】UniDiffuser： Transformer+Diffusion 用于图、文互相推理
prinTao的博客
09-27 1193
而多模态大模型将能够打通各种模态能力，实现任意模态之间转化，被认为是通用式生成模型的未来发展方向。最近看到不少多模态大模型的工作，有医学、金融混合，还有CV&NLP。今天介绍：论文链接：https://ml.cs.tsinghua.edu.cn/diffusion/unidiffuser.pdf开源代码：https://github.com/thu-ml/unidiffuser。
用 Transformer 替换 diffusion 的U-Net：可伸缩的 diffusion 模型
深度学习与计算机视觉
11-08 1399
论文标题： Scalable diffusion models with transformers论文链接：https://openaccess.thecvf.com/content/ICCV2023/html/Peebles_Scalable_Diffusion_Models_with_Transformers_ICCV_2023_paper.html代码：https://github.com/...
DiT Scalable Diffusion Models with Transformers
weixin_44966641的博客
02-19 1911
DiT 的思路和做法都是比较直接的，就是用 Transformer 替换掉 UNet，并探索了其 scaling 能力和条件注入的结构。在 Diffusion 成功之后，以 DiT 为代表的，有很多用 Transformer 替换 UNet 的工作，但都没有受到很大的关注。究其原因，应该是 UNet 已经做的足够好，计算开销也低，使用 Transformer scaling 上去，虽然生成质量有所提升，但也没那么显著。
【深度学习】必看PixArt-α: Fast Training of Diffusion Transformer for Photorealistic Text-to-Image
q742971636的博客
06-24 886
最先进的文本到图像（T2I）模型需要大量的训练成本（例如，数百万GPU小时），这严重阻碍了AIGC社区的基础创新，同时增加了CO2排放。本文介绍了基于Transformer的T2I扩散模型PIXART-α，其图像生成质量与最先进的图像生成器（例如，Imagen、SDXL，甚至Midjourney）竞争，达到了接近商业应用的标准。此外，它支持高达1024×1024分辨率的高分辨率图像合成，且训练成本低，如图1和图2所示。
Diffusion models代码解读：入门与实战
热门推荐
沉迷单车的追风少年
09-24 1万+
Diffusion models代码解读：系列文章汇总导航
Latte:Latent diffusion transformer for video generation
liguandong
04-11 1034
假设有一个潜在空间中的video clip VL∈FxHxWxC，现将VL转成tokens，记Z'∈nf x nh x nw xd，F表示帧数，HWC表示潜在空间中视频帧的高宽通道数，video clip在潜在空间中的token总数是nf x nh x nw，d表示每个token的维度，将spatial-temporal positional embedding p添加在Z'中，得到Z=Z'+p，作为transformer backbone的输入。2.扩散过程在视频的潜在空间中进行，以建模潜在的时空信息。
Scalable Diffusion Models with Transformers
通街是密人有的博客
01-09 4562
我们探索了一类新的基于Transformer结构的扩散模型。我们训练图像的潜在扩散模型，用一个对潜在补丁操作的Transformer取代常用的U-Net骨干网。我们通过Gflops测量的前向传递复杂性来分析扩散Transformer(dit)的可伸缩性。我们发现，具有较高gflop的dit(通过增加Transformer深度/宽度或增加输入令牌数量)始终具有较低的FID。
NLP入门：word2vec & self-attention & transformer & diffusion的技术演变
NCU_wander的博客
06-28 2111
这一段时间大模型的相关进展如火如荼，吸引了很多人的目光；本文从nlp领域入门的角度来总结相关的技术路线演变路线。
【Datawhale组队学习：Sora原理与技术实战】Transformers+diffusion
JeffDing
03-06 1404
近期大火的OpenAI推出的Sora模型，其核心技术点之一，是将视觉数据转化为Patch的统一表示形式，并通过Transformers技术和扩散模型结合，展现了卓越的scale特性。被Twitter上广泛传播的论文《Scalable diffusion models with transformers》也被认为是Sora技术背后的重要基础。而这项研究的发布遇到了一些坎坷，曾经被CVPR2023拒稿过。
论文阅读：Scalable Diffusion Models with Transformers
huzimu_的博客
03-07 1859
Stable Diffusion 3的技术论文。该论文提出了Diffusion Transformers （DiTs)，其相较于基于U-Net的LDM等扩散模型有着更为优异的性能。
Transformers18~ Diffusion
whaosoft143ai的博客
12-22 798
如图 2（右）所示，相对于 LDM-4（103.6 Gflops）这样的潜在空间 U-Net 模型来说，DiT-XL/2（118.6 Gflops）计算效率高得多，也比 ADM（1120 Gflops）或 ADM-U（742 Gflops）这样的像素空间 U-Net 模型效率高很多。可以发现，增加模型大小和减少 patch 大小会对扩散模型产生相当大的改进。这一发现表明，扩散模型可以从架构统一趋势中受益，例如，扩散模型可以继承其他领域的最佳实践和训练方法，保留这些模型的可扩展性、鲁棒性和效率等有利特性。
（2023|ICCV，DiT，扩散 transformer，Gflops）使用 Transformer 的可扩展扩散模型
qq_44681809的博客
01-15 2495
本文提出 DiT：训练 LDM，将 U-Net 骨干替换为在潜在 patch 上操作的 Transformer。本文通过前向传播复杂度的角度分析 DiT 的可扩展性，该复杂度由 Gflops 衡量。
dit: command not found git 报错
05-04
这个错误可能是因为您没有安装 Git 或者您的 Git 版本过低。请尝试在终端中输入以下命令安装最新版本的 Git： - Ubuntu: `sudo apt-get update && sudo apt-get install git` - CentOS: `sudo yum update && sudo yum install git` - macOS: `brew update && brew install git` - Windows: 从 https://git-scm.com/downloads 下载并安装 Git。 如果您已经安装了 Git 但仍然出现此错误，请尝试更新 Git 版本。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

哆啦叮当

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值