GAN主要由两个部分组成,分别是generator和discriminator。首先固定判别器,训练生成器,使得生成器生成的虚假图片能够骗过判别器;随后固定生成器,训练判别器,使判别器能够分辨真实图像和生成器生成的虚假图像。
GAN在近些年非常火,但是仍旧存在大量的问题,比如本篇论文主要聚焦解决GAN中长距离依赖性问题。GAN的计算中依托了CNN的框架,CNN中一个基础的概念是卷积核的基本感受域。常见的卷积核的大小有限,通常不会超过11;扩大感受域的另外一个方法是重复叠加卷积层,但是这需要付出大量的计算代价。
因此需要其他的网络架构方式来弥补CNN的缺陷,作者联想到在NLP领域提出的Self-attention机制。self-attention能够学习到更充分的全局信息,也已经被应用到语音领域。
Self-attention在CNN的背景下,具体的实现方式会与nlp不同。作者在query,key,value的基础结构下,设计了如图的框架。首先是1X1的卷积核分别得到f(x),g(x),将f(x)转置后与g(x)相乘,然后进行softmax归一化,得到attention map。再用1X1的卷积核得到h(x),与attention map逐像素点相乘,再经由一个1X1的卷积核得到self-attention feature maps。