DiffiT

whaosoft143

已于 2023-12-10 23:09:46 修改

阅读量85

点赞数 1

分类专栏：人工智能文章标签：人工智能

于 2023-12-10 23:06:32 首次发布

本文链接：https://blog.csdn.net/qq_29788741/article/details/134916564

版权

人工智能专栏收录该内容

2590 篇文章 162 订阅

订阅专栏

英伟达提出用于图像生成的扩散ViT架构DiffiT,在生成高保真图像方面惊人地有效，并在各种类条件和无条件合成任务中实现了最先进的(SOTA)基准。在潜空间中，DiffiT在ImageNet256数据集上取得了新的SOTA FID分数1.73。

论文链接：https://arxiv.org/abs/2312.02139

代码链接：https://github.com/NVlabs/DiffiT

扩散模型以其强大的表达能力和高样本质量在许多领域得到了新的应用。对于样本生成，这些模型依赖于通过迭代去噪生成图像的去噪神经网络。然而，去噪网络架构的作用并没有得到很好的研究，大多数工作都依赖于卷积残差U-Nets。

本文研究了视觉transformer在基于扩散的生成学习中的有效性。本文提出一种新模型，称为扩散视觉transformer (DiffiT)，由一个具有U形编码器和解码器的混合分层架构组成。本文提出一种新的依赖时间的自注意力模块，允许注意力层以有效的方式自适应其在去噪过程的不同阶段的行为。

此外，本文还提出了LatentDiffiT，由transformer模型和所提出的自注意力层组成，用于高分辨率图像生成。结果表明，DiffiT在生成高保真图像方面惊人地有效，并在各种类条件和无条件合成任务中实现了最先进的(SOTA)基准。在潜空间中，DiffiT在ImageNet256数据集上取得了新的SOTA FID分数1.73。

本文方案

上图为本文所提DiffIT整体架构示意图，很明显，核心是所提DiffiT ResBlock，故我们仅对该核心模块进行简要介绍。

上图为DiffiT模块示意图，可以描述如下：

图像空间

DiffIT结构 DiffiT使用对称的u型编码器-解码器架构，其中收缩和扩展路径在每个分辨率上通过跳跃连接相互连接。编码器或解码器路径的每个分辨率由L连续的DiffiT块组成，其中包含所提出的时间依赖的自注意力模块。在每条路径的开始，对于编码器和解码器，使用一个卷积层来匹配特征图的数量。此外，卷积上采样或下采样层还用于每个分辨率之间的过渡。我们推测，这些卷积层的使用嵌入了可以进一步提高性能的归纳图像偏差。在本节的其余部分，我们讨论了DiffiT Transformer块和提出的时间依赖自注意力机制。在构建u型去噪架构时，使用所提出的Transformer块作为残差单元。

DiffiT ResBlock 通过将所提出的DiffiT Transformer块与额外的卷积层相结合，定义最终的残差单元:

潜空间

潜扩散模型被证明可以有效地生成高质量的大分辨率图像。在图4中，我们展示了隐DiffiT模型的架构。我们首先使用预训练的变分自编码器网络对图像进行编码，然后将特征图转换为不重叠的块并投影到新的嵌入空间。与DiT模型[52]类似，我们使用视觉transformer，没有上采样或下采样层，作为潜空间中的去噪网络。此外，还利用三通道无分类器指导来提高生成样本的质量。架构的最后一层是一个简单的线性层，用于对输出进行解码。 whaosoft aiot http://143ai.com

本文实验

DiffiT在CIFAR- 10数据集上取得了最先进的图像生成FID分数1.95，超过了EDM [34]和LSGM [69]等最先进的扩散模型。与最近的两个基于vit的扩散模型相比，所提出的DiffiT在CIFAR-10数据集上的FID分数明显优于U-ViT [7]和GenViT [76]模型。此外，就FID分数而言，DiffiT在VP和VE训练配置方面明显优于EDM [34]和ddpm++ [66]模型。在图5中，我们对FFHQ-64数据集上生成的图像进行了说明。

在ImageNet-256数据集中，潜在DiffiT模型在FID分数方面优于MDT-G [21]、DiTXL/2-G [52]和StyleGAN-XL [61]等竞争方法，并设置了新的SOTA FID分数为1.73。在IS和sFID等其他指标方面，潜DiffiT模型表现出了有竞争力的性能，从而表明了所提出的时间依赖自注意力的有效性。
在ImageNet-512数据集中，隐DiffiT模型在FID和Inception分数(IS)方面明显优于DiT-XL/2-G。尽管StyleGAN-XL [61]在FID和IS方面显示了更好的性能，但众所周知，基于gan的模型存在多样性低的问题，这些问题无法被FID分数捕获。这些问题反映在StyleGAN-XL在准确率和召回率方面的次优性能上。
此外，在图6中，我们展示了在ImageNet- 256和ImageNet-512数据集上生成的未策划图像的可视化。潜DiffiT模型能够在不同的类别中生成各种高质量的图像。