TransGAN: Two Transformers Can Make One Strong GAN

两个Transformers可变成一个强GAN！表现SOTA，性能优于AUTOGAN、SN-GAN等网络，部分代码刚刚开源！

注1：文末附【Transformer】和【GAN】交流群

注2：整理不易，欢迎点赞，支持分享！

TransGAN: Two Transformers Can Make One Strong GAN

• 作者单位：UT-Austin, IBM研究院
• 代码：https://github.com/VITA-Group/TransGAN
• 论文：https://arxiv.org/abs/2102.07074

最近对Transformer的爆炸性兴趣表明，它们有潜力成为计算机视觉任务（例如分类，检测和分割）的强大“通用”模型。但是，Transformer还能走多远？他们准备好解决一些更难的视觉任务，例如生成对抗网络（GAN）吗？

在这种好奇心的驱使下，我们进行了第一个试点研究，即仅使用基于Transformer的架构来构建GAN ，完全没有卷积！

我们的GAN架构称为TransGAN，由一个基于memory的基于转换器的生成器和一个基于转换器的patch-level鉴别器组成，该生成器在减小嵌入尺寸的同时逐步提高特征分辨率。