Gan的改进

1、Dual Contrastive Loss and Attention for GANs

• 使用大规模图像数据集时，生成对抗网络 (GAN) 在无条件图像生成方面效果非常不错。但生成的图像仍然很容易被甄别出来，尤其是在具有高方差的数据集（例如卧室、教堂）上。
• 本文提出一种新的双重对比损失，并表明通过这种损失，判别器可以学习更通用和可区分的表示来激励生成质量。此外，重新审视了注意力并在生成器中对不同的注意力块进行了广泛的实验。发现注意力仍然是成功生成图像的重要模块，即使它在最近的先进模型中未使用。最后，研究了判别器中不同的注意力架构，并提出了一个参考注意力机制。通过结合这些措施，在几个基准数据集上将FID提高了至少 17.5%，在合成场景上获得了更显著的提升（在 FID 中高达 47.5%）。

理解生成对抗网络的关键在于理解GAN的损失函数

JS散度

GAN实际是通过对先验分布施加一个运算G, 来拟合一个新的分布

 

如果从传统的判别式网络的思路出发，只要选定合适的loss，就可以使生成分布和真实分布之间的距离尽可能逼近

KL散度经常用来衡量分布之间距离

 

但KL散度是不对称的。不对称意味着，对于同一个距离，观察方式不同，获取的loss也不同，那么整体loss下降的方向就会趋向于某个特定方向。这在GAN中非常容易造成模式崩塌，即生成数据的多样性不足

JS散度在KL散度的基础上进行了修正，保证了距离的对称性：

 

实际上，无论KL散度还是JS散度，在直接用作loss时，都是难以训练的：由于分布只能通过取样计算，这个loss在每次迭代时都几乎为零

GAN loss的推导

GAN的训练方法，能够巧妙的解决这个问题：

先训练D，再训练G，二者相互对抗，直到收敛