SAGAN阅读

问题
文章作者提出传统GAN网络往往可以生成逼真的纹理特征但在生成几何结构特征时如狗的爪子时往往效果不佳。
原因
作者介绍问题的原因是因为卷积神经网络中卷积核大小固定，只能对局部特征进行提取，而一些与全局具有依赖关系的几何特征提取不到，如果通过多个卷积层来增大感受野的话，会增加模型的深度，较浅的模型不能做到，而且优化器需要寻找不同层参数之间的协同关系，增加了训练难度，另一种方法是通过加大卷积核的尺寸，但这种方法会降低训练效率增加训练成本，于是作者提出了自注意力机制（Self-attention mechanism.），在不额外增加较少训练成本的前提下提高利用全局特征生成几何特征的能力。
做法：

原文中提到了利用Spectral normalization和给生成器和鉴别器提供不同的学习率来提升训练效果。