论文《TransGAN：丢弃卷积，纯 Transformer 构建 GAN 网络》理解

论文标题：TransGAN: Two Transformers Can Make One Strong GAN
论文链接：TransGan
git地址：github
作者本人直播地址：机器之心

顾名思义，就是删减了GAN网络中的CNN结构，替换成用encoder堆叠而成的transformer而形成的网络

先上一幅图：
作者把AutoGAN自动探索生成的generator使用TransGAN的generator代替，结果整个网络的性能几乎是没有变化的，可见简单的transformer性能足以媲美深层神经网络的性能，但是替换掉discriminator时效果却一般。

传统的nlp架构：
self-attention的作用：
网络架构：