论文笔记：Self-Attention Generative Adversarial Networks

GAN主要由两个部分组成，分别是generator和discriminator。首先固定判别器，训练生成器，使得生成器生成的虚假图片能够骗过判别器；随后固定生成器，训练判别器，使判别器能够分辨真实图像和生成器生成的虚假图像。

GAN在近些年非常火，但是仍旧存在大量的问题，比如本篇论文主要聚焦解决GAN中长距离依赖性问题。GAN的计算中依托了CNN的框架，CNN中一个基础的概念是卷积核的基本感受域。常见的卷积核的大小有限，通常不会超过11；扩大感受域的另外一个方法是重复叠加卷积层，但是这需要付出大量的计算代价。
因此需要其他的网络架构方式来弥补CNN的缺陷，作者联想到在NLP领域提出的Self-attention机制。self-attention能够学习到更充分的全局信息，也已经被应用到语音领域。

Self-attention在CNN的背景下，具体的实现方式会与nlp不同。作者在query，key，value的基础结构下，设计了如图的框架。首先是1X1的卷积核分别得到f(x),g(x),将f(x)转置后与g(x)相乘，然后进行softmax归一化，得到attention map。再用1X1的卷积核得到h(x),与attention map逐像素点相乘，再经由一个1X1的卷积核得到self-attention feature maps。

改进