【VQGAN论文精读】Taming Transformers for High-Resolution Image Synthesis

已于 2023-05-23 10:11:05 修改
阅读量2k 收藏 2
点赞数 3
分类专栏： 扩散模型CV与NLP从入门到项目实战 人脸相关前沿研究从入门到实战 文章标签： 深度学习 计算机视觉 人工智能 VQGAN 生成模型
于 2023-05-02 11:27:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45934285/article/details/130439323
版权
本文深入解析VQGAN论文，探讨如何利用CNN学习图像codebook并用Transformer进行高分辨率图像建模。通过结合CNN的局部特性与Transformer的全局建模能力，VQGAN能在保持高感知质量的同时增加压缩率，实现高分辨率图像生成。文章涵盖方法介绍、相关工作、实验结果及未来方向。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

【VQGAN论文精读】Taming Transformers for High-Resolution Image Synthesis

0、前言

论文地址：Taming Transformers for High-Resolution Image Synthesis
这篇博客首先分析VQGAN的论文方法，下期分享VQGAN的代码原理。
VQGAN是StableDiffusion作者的前期论文，希望大家对于表征学习、GAN以及Transformer自回归建模（GPT）的理解有一定的帮助。
分享的这篇文章综合了CNN的局部建模优势与Transformer的全局建模优势，并且基于VQVAE，具体如下：

  1. 首先是利用CNN(包括编码器和解码器)来学习一个有效的codebook来表示图片（VQVAE）。然而使用transformers将图像表示为潜在图像成分的分布，需要我们突破压缩的极限。这里就增加了基于patch的鉴别器和感知损失，提出了VQGAN，以在增加压缩率的情况下保持良好的感知质量keep good perceptual quality at increased compression rate.（自然也就用到了注意力机制，具体参考下文）
  2. 那么Transformer如何应用到图像生成呢？之前说道VQVAE其实就是找到对应codebook中的索引&#x
了解本专栏 订阅专栏 解锁全文
Taming Transformers for HighResolution Image Synthesis
AI天才研究院
08-22 282
作者：禅与计算机程序设计艺术 1.简介 和他的同事们已经将GAN用于图像生成方面的研究推向了一个新高度。在超分辨率（SR）、超像素（UP）等领域取得了惊艳成果，但随之而来的就是模型的复杂程度提高，训练时间增加，并要求更大的GPU资源。为了解决这一问题，作者们提出了一个基于变形编码器的自注意力
51-33 LDM 潜在扩散模型论文精读 + DDPM 扩散模型代码实现
AIgraphX
03-22 3230
传统扩散模型 DM 是作用在原始像素级上，Latent Diffusion Models 潜在扩散模型 LDM 则是先对图片进行压缩，将图片表示为潜在空间（Latent Space，而不是像素空间），然后输入扩散模型。LDM 模型在主干网络 UNet 中引入 Cross-Attention，可以输入多模态，实现灵活的图片生成控制。
CVPR2021 | VQGAN+：Taming Transformers for High-Resolution Image Synthesis
justBeHerHero
12-11 5701
CVPR2021 | VQGAN+：Taming Transformers for High-Resolution Image Synthesis transformer比CNN缺少了归纳偏置和局部性，但是更具表现力，但对于长序列（高分辨率图像），在计算上是不可性的。作者就是解决这个问题：使用cnn来学习图像成分的上下文信息，利用transformer在高分辨率图像中有效地建模它们的组件。
TAMING TRANSFORMERS FOR HIGH-RESOLUTION IMAGE SYNTHESIS (A.K.A #VQGAN)
kebijuelun的博客
11-26 649
2021 CVPR 文章，出自海德堡大学。本文结合 transformer 和 CNNs 两个结构，提升网络的建模能力，实现了高质量的图像生成效果。
【论文阅读笔记】Taming Transformers for High-Resolution Image Synthesis
weixin_43357695的博客
02-02 3101
旨在学习序列数据的远程交互，transformer继续在各种任务中展示最先进的结果。与 CNN 相比，它们不包含优先考虑局部交互的归纳偏差。这使得它们具有表现力，但对于长序列(如高分辨率图像)也在计算上是不可行的。我们演示了如何将cnn的归纳偏差与变压器的表达能力相结合，使它们能够建模，从而合成高分辨率图像。我们展示了如何 (i) 使用CNN 来学习图像成分的上下文丰富的词汇进而 (ii) 利用transformer有效地对它们在高分辨率图像中的组成进行建模。
Taming Transformers for High-Resolution Image Synthesis 论文阅读
LuckyXiaoSu的博客
03-31 2673
Taming Transformers for High-Resolution Image Synthesis 论文阅读 摘要 结合CNN的归纳偏置有效性和transformer的表达能力去合成高分辨率图像。 展示了(i)用CNNs去学习一个语义构成的图像的特征(ii)通过这些语义生成图像 实现 Figure2: 学习一个有效地Codebook（具体可以看VQVAE，我也是一知半解，推一篇文VQ-VAE解读） 应该用一个序列来表现图像的构成( 这里的constitution of images 不太会翻译
51-42 NÜWA：女娲，通用的视觉合成多模态预训练模型
AIgraphX
04-20 814
通用的多模态预训练模型N̈UWA，可以同时处理不同场景的文本、图像和视频，在文生图、文生视频和视频预测等8 个下游任务上效果惊艳。
扩散模型+CV与NLP科研笔记专栏文章汇总：【Diffusion Models】
zik的博客
04-04 5186
CLIP是一个多模态的大模型，用了4亿个（图像、文本）对进行对比学习，学习之后可以直接进行zero-shot推理，并且不需要像ImageNet那样标注1000个类，而是可以人为给出文本提示，进行图片和文本之间的相似度计算，而且迁移效果很好。那么基于此，提出了Classifier-Free Diffusion Guidance，后续非常多的工作都是基于其来进行的，例如DALL·E 2、Imagen等吸引人眼球的模型基本上都是以它为基础做的。直接用训练好的非条件的扩散模型，无需重复训练。
VQGAN（2021-06：Taming Transformers for High-Resolution Image Synthesis）
白泓的博客
10-29 1324
VQGAN 创新性地将 VQ-VAE 和 GAN 结合，利用离散潜在空间和对抗性损失生成高质量图像，为高分辨率图像生成提供了新的方法。同时，VQGAN 的设计允许在生成过程中使用 Transformer 等更复杂的模型架构，使得图像生成更加灵活和精细。
Taming Transformers for High-Resolution Image Synthesis
weixin_44994838的博客
10-19 544
Zzk​k1K​⊂Rnz​nz​EGxzEx∈Rh×w×nz​zij​∈Rnz​zk​zq​qz:=argminzk​∈Z​∣∣zij​−zk​∣∣∈Rh×w×nz​zq​xGzq​GqEx)))qLVQ​EGZ∣∣x−x∣∣2∣∣sgEx)]−zq​∣∣22​β∣∣sgzq​−。
taming-transformers
03-08
用于高分辨率图像合成的驯服变压器 *，*，*平等贡献 tl; dr通过引入卷积VQGAN，我们将卷积方法的效率与转换器的表达能力相结合，该算法学习了上下文相关的视觉部分的密码本，其组成是使用自回归转换器建模的。 | | 消息 我们添加了一个，用于比较两个VQGAN和OpenAI的 。 另请参阅。 我们现在包括预训练模式的概况 。 我们添加了和模型。 流式演示现在支持图像完成。 现在，我们包括D-RIN数据集中的几个示例，因此您可以运行而无需先准备数据集。 现在，您可以使用我们的采样。 要求 可以使用以下方法创建并激活一个名为taming合适的环境： conda env create -f environment.yaml conda activate taming 预训练模型概述 下表概述了当前可用的所有型号。 FID分数是使用进行评估的，而没有拒绝抽样。 作为参考，我们
VQGAN: Taming Transformers for High-Resolution Image Synthesis
wulele2的博客
06-30 842
本文类似VQVAE，区别在于引入了GAN的思想来强制codebook学到更逼真的图像成分表示，另外，自回归模型替换成了长序建模更强的Transformer来替代PixelCNN。（在codebook上进行自回归是因为Transformer计算代价大）。
生成模型（VQGAN）Taming Transformers for High-Resolution Image Synthesis
qq_53536373的博客
07-29 1028
卷积方法学习视觉部分：首先，使用卷积方法高效地学习一个包含丰富上下文信息的视觉部分（或称为“视觉词汇”）的代码本（codebook）。这一步的目的是捕捉图像的局部结构和特征，这些局部结构是构建更复杂图像的基础。变换器建模全局组合：接下来，利用变换器架构学习这些视觉部分之间的全局组合。由于变换器擅长建模长距离交互，因此它们能够捕捉视觉部分之间复杂的、非局部的关系，从而生成更加逼真和复杂的图像。对抗性方法优化局部结构：同时，采用对抗性方法来确保局部部分的字典（即代码本）能够捕捉到感知上重要的局部结构。
【论文精读】Taming Transformers for High-Resolution Image Synthesis
最新发布
eepii的博客
02-05 476
CNN具有归纳偏置（https://zhuanlan.zhihu.com/p/537658409），主要是局部性和平移不变性，在这2个先验信息前提下，CNN学习速度更快，因此在小样本的图片处理任务中优于Transformer。这篇论文就是将CNN和Transformer结合起来，将CNN的归纳偏置的性能和Transformer的表达能力相结合，用于高清的图片生成。然后用Transformer建模连续多张图片的index，并推理下一张的index，然后进行解码即可。
Paper - VQGAN: Taming Transformers for High-Resolution Image Synthesis 简读
AGI
02-06 1161
本文获得一个有效和富有表现力的模型的关键启发是，卷积和Transformer架构结合起来，可以建模视觉世界的组合性质：本文使用卷积方法来高效地学习一个包含丰富上下文的视觉部件的码本，然后学习一个全局组合的模型。这些组合中的长距离交互，需要一个富有表现力的Transformer架构，来建模其构成视觉部件的分布。此外，本文利用对抗方法，来确保局部部件的字典，捕捉到感知上重要的局部结构，从而减轻了用Transformer架构建模低级统计的需要。让Transformer专注于独特优势——建模长距离关系——使它们能够
2021-01-26Taming Transformers for High-Resolution Image Synthesis(arXiv2020)(有代码)
qq_40723205的博客
01-26 4093
转自 https://blog.csdn.net/amusi1994/article/details/112301258 ---代码链接 https://github.com/CompVis/taming-transformers 项目主页：https://compvis.github.io/taming-transformers/ VQGAN——利用基于CNN的有效归纳偏置，并结合Transformer结构的表达能力 CNN也具有平移不变性和局部敏感性的归纳偏置。但是，后者也决定了卷积神经网络只能
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

旋转的油纸伞

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值