论文笔记：ViTGAN: Training GANs with Vision Transformers

最新推荐文章于 2024-07-30 00:54:16 发布
最新推荐文章于 2024-07-30 00:54:16 发布
阅读量820 收藏 2
点赞数
分类专栏： 论文笔记 文章标签： 论文阅读 计算机视觉 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40206371/article/details/133267199
版权

2021

1 intro

  • 论文研究的问题是：ViT是否可以在不使用卷积或池化的情况下完成图像生成任务
    • 即不用CNN，而使用ViT来完成图像生成任务
  • 将ViT架构集成到GAN中，发现现有的GAN正则化方法与self-attention机制的交互很差，导致训练过程中严重的不稳定
    • ——>引入了新的正则化技术来训练带有ViT的GAN
    • ViTGAN模型远优于基于Transformer的GAN模型，在不使用卷积或池化的情况下，性能与基于CNN的GAN（如Style-GAN2）相当
    • ViTGAN模型是首个在GAN中利用视觉Transformer的模型之一

2 方法

  • 直接使用ViT作为鉴别器会使训练变得不稳定。
    • 论文对生成器和鉴别器都引入了新的技术，用来稳定训练动态并促进收敛。
      • (1)ViT鉴别器的正则化；
      • (2)生成器的新架构

 2.1 ViT鉴别器的正则化

  • 利普希茨连续（Lipschitz continuity）在GAN鉴别器中很重要
  • 然而，最近的一项工作表明，标准dot product self-attention层的Lipschitz常数可以是无界的，使Lipschitz连续在ViTs中被违反。
    • —>1，用欧氏距离代替点积相似度
    • —>2，在初始化时将每层的归一化权重矩阵与spectral norm相乘
      • 对于任意矩阵 A，其Spectral Norm定义为：
        • 也可以定义为矩阵 A 的最大奇异值
        • σ计算矩阵的Spectral Norm

2.2 设计生成器

3  实验

 

UQI-LIUWJ
关注
专栏目录
谷歌新作ViTGAN：用视觉Transformer训练GAN！
AI蜗牛车
07-20 2011
本文转载自：新智元来源：arXiv 编辑：Priscilla LQ【导读】CNN地位不稳。加州大学圣地亚哥分校联合谷歌进行研究：用视觉Transformer训练GAN，结果表明，ViTG...
【人工智能笔记】第四十二节：TF2实现VITGAN对抗生成网络，PatchEmbedding 实现
不定时更新AI技术tensorflow实现方式，欢迎关注，有问题请私信我。
05-26 584
【人工智能笔记】第四十二节：TF2实现VITGAN对抗生成网络，PatchEmbedding 实现
ViTGAN: Training GANs with Vision Transformers阅读笔记
baidu_40582876的博客
12-21 1301
Task 图像的生成 Key idea 利用transformer作为基本的计算单元，替代传统的CNN，同时基于GAN的基础架构，去完成图像的生成任务。 面对的问题： (1) GAN的正则化方法与注意力机制的交互很差，导致训练中稳定性不足 (2)在鉴别器训练的后期，对抗训练经常受到高方差梯度（或尖峰梯度）的阻碍。高方差梯度会在训练的时候导致震荡，非常影响训练的效果。 解决的方法： (1) 在判别器中，研究者重新审视了自注意力的 Lipschitz 性质，在此基础上他们设计了一种加强了..
Transformer也能生成图像，新型ViTGAN性能比肩基于CNN的GAN
Paper weekly
07-19 950
©作者|Panda来源|机器之心Transformer 已经为多种自然语言任务带来了突飞猛进的进步，并且最近也已经开始向计算机视觉领域渗透，开始在一些之前由 CNN 主导的任务上暂...
【读点论文】ViTGAN: Training GANs with Vision Transformers 将视觉transformer和gan结合起来
白水空空
03-28 7622
ViTGAN: Training GANs with Vision Transformers Abstract 最近，Vision Transformers(vits)在图像识别方面表现出了具有竞争力的性能，需要较少的视觉特定的归纳偏差。 在本文中，研究这种观察是否可以扩展到图像生成。将ViT整合到生成式对抗网络(GANs)中。本文观察到，现有的GANs正则化方法与自注意力的交互作用很差，导致训练过程中严重的不稳定性。 为了解决这个问题，引入了新的正则化技术来训练具有vit的gan。根据经验，
ViTGAN：用视觉Transformer训练生成性对抗网络 Training GANs with Vision Transformers
白洞，白色的明天在等着我们
05-02 4339
不使用卷积或池化，能否使用视觉 Transformer 来完成图像生成任务？更具体而言：能否使用 ViT 来训练生成对抗网络（GAN）并使之达到与已被广泛研究过的基于 CNN 的 GAN 相媲美的质量？
谷歌ViTGAN | 视觉Transformer训练的GAN
idol24的博客
07-13 644
点击上方“机器学习与生成对抗网络”，关注星标获取有趣、好玩的前沿干货！文章 新智元 来源：arXiv 编辑：Priscilla LQCNN地位不稳。加州大学圣地亚哥分校联合谷歌进行研究：...
探索未来图像生成的边界：ViTGAN全面解析与推荐
gitblog_00043的博客
06-09 914
探索未来图像生成的边界：ViTGAN全面解析与推荐 去发现同类优质开源项目:https://gitcode.com/ 在人工智能领域，尤其是深度学习的浪潮下，生成对抗网络（GANs）以其惊人的创造力成为图像合成的明星技术。今天，我们将深入探索一个结合了最新视觉前沿的创新项目——ViTGAN，这是基于PyTorch实现的一项突破性工作，它巧妙地将视觉Transformer的力量引入到GAN的训练中，...
【人工智能笔记】第四十五节：TF2实现VITGAN对抗生成网络，VITGAN主体 实现
不定时更新AI技术tensorflow实现方式，欢迎关注，有问题请私信我。
05-29 572
【人工智能笔记】第四十五节：TF2实现VITGAN对抗生成网络，VITGAN主体 实现
【Data Augmentation】: The Application of GANs in Data Augmentation: The Secret to Enhancing Machine...
# Data Augmentation: The Secret to Enhancing Machine Learning Models Using GANs Data augmentation is a critical technique in the field of machine learning, capable of boosting a model's ...
A Survey on Vision Transformer
woshilaixiazaidemiao的博客
05-24 837
摘要 本文探讨的主要类别包括：主干网络、高/中级视觉、低级视觉和视频处理。 我们还包括有效的Transformer方法，用于将Transformer推进device-based的实际应用。 此外还简要介绍了计算机视觉中的自我注意机制，因为它是Transformer的基本组成部分。 在本文的最后，讨论了视觉Transformer面临的挑战，并提供了几个进一步的研究方向。 Introduction 高级视觉处理：对图像中所见内容的解释和使用。 中级视觉处理：将这些信息组织成物体和表面objects and su
Sora核心之一：当Diffusion遇到Transformer，DiT的前世今生
pku_langzi的博客
02-19 3432
Diffusion与Tranformer结合的代表性文章
EfficientNetV2: Smaller Models and Faster Training学习
AlphaFinance
05-20 661
训练效率对于深度学习非常重要，因为模型规模和训练数据量越来越大。例如，GPT-3（Brown等，2020）拥有更大的模型和更多的训练数据，在少样本学习方面展示了卓越的能力，但它需要数周的训练时间和数千个GPU，这使得重新训练或改进变得困难。"TPU days"指的是使用TPU（Tensor Processing Unit）进行训练所花费的时间，以天为单位进行计量。TPU是由谷歌开发的专用硬件加速器，用于高效地执行深度学习任务。
AIGC从入门到实战：登录 DID
最新发布
AI天才研究院
07-30 305
AIGC从入门到实战：登录 D-ID 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词： 人工智能生成内容（AIGC）、D-ID、文本生成、图像生成、多模态生成、AI应用开发
【人工智能笔记】第三十二节：TF2实现VITGAN对抗生成网络，网络结构简介
不定时更新AI技术tensorflow实现方式，欢迎关注，有问题请私信我。
05-18 667
该系列一共分成N篇文章，对照论文实现每个细节，并附上源码，该系列完成最后会附上github地址。
ViT (Vision Transformer) ---- Text Generation（文本生成器）
进击的菜鸟
12-23 1317
使用RNN对文本预测 假如输入的文本是：the cat sat on the ma 那么下一个字符什么呢？ 这里采用的是many to many模型，如下: 此时模型的输出字符概率为： 如何训练RNN模型？ 如上一段英语文字，我们采用分割的方法，这里采用输入的长度为40，滑动距离为3，即从开始到第40个字符用作输入， 第41个字符用作标签数据label，如上： 输入为：Machine learning is a subset of artifici label为：a ...
【人工智能笔记】第三十九节：TF2实现VITGAN对抗生成网络，ModulatedLinear调制模块 实现
不定时更新AI技术tensorflow实现方式，欢迎关注，有问题请私信我。
05-29 243
【人工智能笔记】第三十九节：TF2实现VITGAN对抗生成网络，ModulatedLinear调制模块 实现
【人工智能笔记】第三十三节：TF2实现VITGAN对抗生成网络，Mapping NetWork 实现
不定时更新AI技术tensorflow实现方式，欢迎关注，有问题请私信我。
05-21 646
该章节介绍VITGAN对抗生成网络中，Mapping NetWork 部分的代码实现。
论文精读 TransGAN:两个纯粹的Transformer可以组成一个强大的GAN（TransGAN：Two Pure Transformers Can Make One Strong GAN）
白洞，白色的明天在等着我们
03-28 7913
TransGAN是UT-Austin、加州大学、 IBM研究院的华人博士生构建了一个只使用纯 transformer 架构、完全没有卷积的 GAN，并将其命名为 TransGAN。该论文已被NeruIPS（计算机人工智能领域A类会议）录用，文章发表于2021年12月。 该文章旨在仅使用Transformer网络设计GAN。
ViT与GAN网络结构的区别
07-20
ViT（Vision Transformer）和 GAN（生成对抗网络）是两种不同的网络结构，各自用于不同的任务。 1. ViT（Vision Transformer）：ViT 是一种将 Transformer 结构应用于计算机视觉任务的模型。它使用自注意力机制来处理图像数据，将图像划分为图像补丁，并将这些补丁作为输入序列传递给 Transformer 模型。ViT 的目标是对图像进行分类或其他计算机视觉任务，如目标检测、图像分割等。ViT 模型在图像领域中的应用是基于 Transformer 模型在自然语言处理领域中的成功，通过引入全局上下文信息来改善图像任务的性能。 2. GAN（生成对抗网络）：GAN 是一种由生成器和判别器组成的网络结构，用于生成逼真的数据样本。生成器尝试生成与真实数据样本相似的样本，而判别器则尝试区分生成样本和真实样本。通过训练生成器和判别器之间的对抗过程，GAN 可以逐渐提高生成样本的质量。GAN 广泛应用于图像生成、视频生成、语音合成等任务，其目标是通过学习数据分布的潜在空间来生成新的合成样本。 因此，ViT 和 GAN 是两种不同的网络结构，用于不同的任务。ViT 用于计算机视觉任务中的图像分类和其他视觉任务，而 GAN 用于生成逼真的数据样本。它们在目标、结构和应用方面存在明显的区别。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UQI-LIUWJ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值