生成清新图像:(attention is really becoming [all you need])
1.利用卷积,提取清晰图像的像素
2.华人博士生首次尝试用两个Transformer构建一个GAN
构建一个GAN,又称为TransGAN
特点:GAN,训练本身具有较高的不稳定性
transformer编译器为基础块,并尽量最小程度的改变。编码器有两部件组成。
第一部件:多头自注意力模块构成
第二部件:GELU非线性的前馈 MLP(多层感知器)
#在两个部件之前均使用归一化,残差连接
内存友好的生成器
问题:NLP中的每个transformer将每个此作为输入,如果以类似的 方法通过堆叠Transformer编码器
来逐像素地生成图像,则低分辨率图像可能导致长序列以及更高自注意力开销。
答案:
一是:避免过高的开销
二是:受CNN的GAN中常用设计理念的启发,在多个阶段迭代地提升分辨率
他们的策略是逐步增加输入序列,并减低嵌入维数