DiT论文精读Scalable Diffusion Models with Transformers CVPR2023

最新推荐文章于 2024-05-31 10:54:54 发布
最新推荐文章于 2024-05-31 10:54:54 发布
阅读量1.1k 收藏 28
点赞数 18
文章标签： python Diffusion transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_52474839/article/details/138172163
版权

Scalable Diffusion Models with Transformers CVPR2023

Abstract

idea
将UNet架构用Transformer代替。并且分析其可扩展性。
并且实验证明通过增加transformer的宽度和深度，有效降低FID
我们最大的DiT-XL/2模型在classconditional ImageNet 512、512和256、256基准上的性能优于所有先前的扩散模型，在后者上实现了2.27的最先进FID。

在这里插入图片描述

Related Work

本文的相关工作，作者分别介绍了一下Transformer和Unet结构

Transformer

UNet架构

在这里插入图片描述

在评估图像生成文献中的架构复杂性时，通常的做法是使用参数计数。一般来说，参数计数不能很好地代表图像模型的复杂性，因为它们不能考虑图像分辨率等对性能有显著影响的因素。
相反，本文中的大部分分析都是通过计算的视角进行的。
这使我们与架构设计文献保持一致，在这些文献中，失败被广泛用于衡量复杂性。在实践中，黄金度量标准将取决于特定的应用程序场景。改进扩散模型的开创性工作与us-there最为相关，他们分析了U-Net架构类的可扩展性属性。在本文中，我们主要关注变压器类。

Diffusion Transformers

Diffusion formulation

前向扩散过程是将x0逐步加噪

q(xt|x0)是已知的

在这里插入图片描述

在这里插入图片描述
是一个超参数

在这里插入图片描述

根据t，x0求xt的过程也叫做采样

关于后验p也就是神经网络需要进行预测的内容

在这里插入图片描述
在这里插入图片描述

逆向过程是用x0的对数似然的变分下界来训练。

该模型可以使用预测的噪声(xt)与实际抽样的高斯噪声(Lsimple)之间的简单均方误差进行训练

在这里插入图片描述

Classifier-free guidance

条件扩散模型将额外的信息作为输入，例如类标签c

此条件下，反向网络需要学习p(xt-1|xt,xc)

LDM

3.2Diffusion Transformer Design Space

他的目的是将transformer用在潜空间中；

DiT也是在Vit基础上进行的

接下来就是描述Dit的forward部分

在这里插入图片描述

总体来说作者的模型是一种混合模型

使用现成的卷积VAE和基于Transformer的DDPMS

在这里插入图片描述

也可以说，DiT仅在DDPM方面做优化

VAE的编码器对img进行压缩后 --> Z–>Noised Latent

在这里插入图片描述

关于Dit的输入规范

在这里插入图片描述

**输入前的Z是32，32，4 I,I,C表示
patch size p，p
最终得到的序列长度为I/p * I/p ,dim dim是自己初始化随机设置即可
Patchify
img大小256，256，3
Z大小32，32，4
它将空间输入转换成T个符号的序列，每个符号都是d维的，
位置编码使用正余弦版本

关于位置编码，RetNet使用旋转空间编码能否优化？

关于patch大小设置
T为序列token长度**

在这里插入图片描述

p减半，T大四倍

对model计算效率影响巨大，改变p对下游参数计数没有任何显著影响

P设计遵从2，4，8

Gflops一种计算资源的表述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

使用标记t和c两个额外的输入到seq，最为vit的cls，

在这里插入图片描述

可以理解为cls为2 length-two

在这里插入图片描述

在这里插入图片描述

交叉注意力机制多15的Gflops

在这里插入图片描述

在这里插入图片描述

adaLN可以取代Transformer中的层归一化层
随着自适应归一化层在gan和UNet骨干扩散模型中的广泛使用，我们探索用自适应层范数(adaLN)取代变压器块中的标准层范数层。我们不是直接学习维度尺度和移位参数$和%，而是从t和c的嵌入向量的总和中回归它们。在我们探索的三个块设计中，adaLN添加的Gflops最少，因此计算效率最高。
它也是唯一一种限制于将相同函数应用于所有令牌的条件调节机制。

adaLN-Zero block

ResNets 验证：将每个残差块初始化恒等函数是有益的
例如，Goyal等人发现，在监督学习设置下，对每个块中的最终批范数尺度因子$进行零初始化可以加速大规模训练[13]。

其他改进，将γ，β用于回归缩放参数

模型的尺寸。我们采用一系列N个DiT块，每个块在隐藏维度大小d处运行。在ViT之后，我们使用标准变压器配置，共同缩放N, d和注意头[10,63]。具体来说，我们使用四种配置:DiT-S、DiT-B、DiT-L和DiT-XL。它们涵盖了广泛的模型大小和触发器分配，从0.3到118.6 Gflops，允许我们衡量缩放性能。

在这里插入图片描述

Major Tom _
关注
  • 18
    点赞
  • 踩
  • 28
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Scalable diffusion models with transformers
liguandong
11-07 2406
首先是一个patch embedding来将输入进行patch化，得到一系列的tokens，其中patch size属于一个超参数，直接决定了tokens的数量，影响模型的计算量。由于对输入进行了token化，所以在网络的最后还需要一个decoder来恢复输入的原始维度，DiT采用一个简单的linear层来实现，直接将每个token映射为pxpx2C的tensor，然后再进行reshape来得到和原始输入空间维度一样的输出，但是特征维度大小是原来的2倍，分别用来预测噪音和方差。
DIF和DIT实现FFT.pdf
05-16
DIF和DIT实现FFT.pdf
【扩散模型系列2】DiT 《Scalable Diffusion Models with Transformers》论文阅读
weixin_41021342的博客
03-04 2182
论文提出了一类使用transformer的扩散模型。将其中的主干网络U-Net用替代，以获取更好的效果。实验证明了transformer架构在扩散模型上的scalability能力，分析发现 DiTs速度更快（Gflops更高），并且始终具有较低的FID（FID是反应生成图片和真实图片的距离，数据越小越好1GLOPs=10亿次浮点运算。是Paper里比较流行的单位。FID是反应生成图片和真实图片的距离，数据越小越好最大的模型DiT-XL/2在ImageNet。
DiT：Scalable Diffusion Models with Transformers # 论文阅读
最新发布
qq_29679623的博客
05-31 338
上帝视角看的神作 DIT 架构，22 年 12 月 META（伯克利+新乡大学）发布，一个取代了 Unet 的全 transformer diffusion 生图架构。
dit_models
02-13
dit_models
论文阅读-DiT：Scalable Diffusion Models with Transformers
jennieg的博客
04-14 859
提示：以下是本篇文章正文内容，下面案例可供参考探索了一类基于Transformer架构基础上的扩散模型。用Transfomer架构替换之前的U-Net，通过增加transformer的深度/宽度或input tokens实现比之前所有扩散模型更优秀的表现。Transformers推动了机器学习的复兴，过去NLP，CV以及其他许多领域都受影响很大。但图像级生成任务还没有太多应用。扩散模型是图像级生成方法的主流解决方案，不过都是基于U-Net的。
Scalable Diffusion Models with Transformers
通街是密人有的博客
01-09 4384
我们探索了一类新的基于Transformer结构的扩散模型。我们训练图像的潜在扩散模型，用一个对潜在补丁操作的Transformer取代常用的U-Net骨干网。我们通过Gflops测量的前向传递复杂性来分析扩散Transformer(dit)的可伸缩性。我们发现，具有较高gflop的dit(通过增加Transformer深度/宽度或增加输入令牌数量)始终具有较低的FID。
DiT Scalable Diffusion Models with Transformers
weixin_44966641的博客
02-19 1736
DiT 的思路和做法都是比较直接的，就是用 Transformer 替换掉 UNet，并探索了其 scaling 能力和条件注入的结构。在 Diffusion 成功之后，以 DiT 为代表的，有很多用 Transformer 替换 UNet 的工作，但都没有受到很大的关注。究其原因，应该是 UNet 已经做的足够好，计算开销也低，使用 Transformer scaling 上去，虽然生成质量有所提升，但也没那么显著。
论文阅读：Scalable Diffusion Models with Transformers
huzimu_的博客
03-07 1752
Stable Diffusion 3的技术论文。该论文提出了Diffusion Transformers （DiTs)，其相较于基于U-Net的LDM等扩散模型有着更为优异的性能。
Sora 基础作品之 DiT：Scalable Diffusion Models with Transformer
kebijuelun的博客
04-01 1634
2022 年 UC Berkeley 出品的论文，将 transformer 应用于 diffusion 上实现了当时最佳的生成效果。DiT 论文作者也是 OpenAI 项目领导者之一，该论文是 Sora 的基础工作之一。
读论文---Scalable Diffusion Models with Transformers
计算机视觉
12-30 3590
Scalable Diffusion Models with Transformers
DIT-FFT.zip_DIT_DIT FFT
09-20
**DIT-FFT算法详解** DIT-FFT，即分治迭代法快速傅里叶变换（Decimation-In-Time Fast Fourier Transform），是快速傅里叶变换（FFT）算法的一种实现方式，广泛应用于数字信号处理领域。它通过递归地将一个大问题...
fft.rar_RADiX 2 fft_radix-2 dit
09-21
标题中的"fft.rar_RADiX 2 fft_radix-2 dit"表明这是一个关于快速傅里叶变换（FFT）的资源，特别提到了基2的直接型（Direct Inverse Transform，DIT）算法。FFT是一种高效的计算离散傅里叶变换（DFT）的方法，它将...
第二次作业.zip_bottleoem_dit算法
07-15
实现8点抽取DIF算法，快速进行傅里叶变换，提高变换效率
【Paper Reading】7.DiT(VAE+ViT+DDPM) Sora的base论文
页页读
03-13 1100
该论文提出了一种综合VAE+ViT+DDPM的基础架构，主要是在latent patches(可以去看VAE)空间进行操作，这样做的好处是首先计算cost会减小很多，例如如果在原始的图片上操作，例如256x256,那在latent patches空间就可以是32x32. Latent patches是指训练一个图像编码器,我们首先可以把原始图像编码为embeding, 也就是E(x), 编码后的空间就是论文中所说的latent patches空间.的变体结构效果最好. 具体的各个变体的说明可以看论文.
AIGC专栏9——Scalable Diffusion Models with Transformers （DiT）结构解析
周红伟讲AI
03-08 896
在uncond_eps基础上，得到最后的隐向量。在DiT-XL-2中，patch处理的步长和卷积核大小为2，通道为1152，在处理完成后，特征的通道上升，高宽被压缩，此时我们获得一个16x16x1152的新特征，然后我们将其在长宽上进行平铺，获得一个256x1152的向量，并且加上位置信息。DiT相比于DDPM，使用了更快的采样器，也使用了更大的分辨率，与Stable Diffusion一样使用了隐空间的扩散，但可能更偏研究性质一些，没有使用非常大的数据集进行预训练，只使用了imagenet进行预训练。
【扩散模型】论文精读：Scalable Diffusion Models with Transformers（DiT）
畅游计算机视觉的海洋
05-21 429
论文题目：Scalable Diffusion Models with Transformers —— VLOGGER：具身化身合成的多模态扩散纯Transformer的扩散模型！研究扩散模型必读文章！我们基于变压器架构探索了一类新的扩散模型。我们训练图像的潜在扩散模型，用对潜在补丁进行操作的转换器替换常用的 U-Net 主干。我们通过 Gflops 测量的前向传递复杂度透镜来分析我们的扩散变换器 (DiTs) 的可扩展性。
一文带你搞懂DiT（Diffusion Transformer）
2401_84033492的博客
05-25 3877
扩散模型的核心思想：Diffusion Models是一种受到非平衡热力学启发的生成模型，其核心思想是通过模拟扩散过程来逐步添加噪声到数据中，并随后学习反转这个过程以从噪声中构建出所需的数据样本。
【论文阅读】Scalable Diffusion Models with Transformers
weixin_57974242的博客
03-18 506
DiT：基于transformer架构的扩散模型。
DIT算法matlab
12-13
根据提供的引用内容，我们可以知道DIT算法是一种快速傅里叶变换算法，可以用于计算一组值的DFT并返回DFT系数。下面是使用MATLAB实现DIT算法的示例代码： ```matlab function X = ditfft(x) % DITFFT Decimation-In-Time FFT Algorithm % X = DITFFT(x) % X = DFT of x using the Decimation-In-Time FFT Algorithm % x = N-point vector of time-domain samples % X = N-point vector of frequency-domain samples N = length(x); if N == 1 X = x; else Xe = ditfft(x(1:2:N-1)); Xo = ditfft(x(2:2:N)); factor = exp(-2i*pi/N).^(0:N/2-1); X = [Xe + factor.*Xo, Xe - factor.*Xo]; end end ``` 该代码实现了DITFFT算法，其中x是一个N点向量，X是一个N点向量，表示x的DFT。该算法使用递归方式实现，将输入向量分为偶数和奇数部分，然后对它们进行DFT，最后将它们组合起来得到最终的DFT。在组合过程中，需要乘以一个旋转因子，以便正确地组合偶数和奇数部分。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值