Transferring GANs: generating images from limited data论文的理解

Transferring GANs: generating images from limited data

1.主要内容

1.证明了预训练的网络能够有效地加速学习过程，并在数据有限时提供有用的先验知识。

2.研究源域和目标域之间的关系如何影响结果，并且讨论了如何选择合适预训练模型的问题。

3.评估从GAN转移到cGAN的两种常用的方法

2.相关知识介绍

迁移学习：在许多问题中，标签数据的数量是不足以训练出网络中通常存在的数以百万计的参数。但是在如ImageNet等这样的大型数据集中训练得到的知识是可以轻易的迁移到其他的计算机视觉任务中的：通过微调使得网络适应目标域（可以有效的传输从源域中学习到的知识）。

GAN：Goodfellow介绍了第一个GAN模型。网络结构使用一系列全连接层，因此仅限于简单的数据集。当接近生成更高复杂度的真实图像时，卷积结构已经被证明是一个更合适的选择。因此，深层卷积GAN(DC-GAN)迅速成为用于图像生成问题的标准GAN结构。

cGAN（condition GAN）：cGAN是一类使用特定属性作为先验知识生成模型的GAN。条件可以是类标签，文本等。大多数cGAN模型都通过将它们连接到层的输入来将它们的条件应用于生成器和鉴别器。例如：第一层的噪声矢量或内部层的学习特征。

3.评价标准

目前还没有明确的参考标准用来评判GAN的好坏。一般来说，一个好的度量标准应该衡量所生成数据的质量和多样性。可能与这些要求没有很好的关联。在广泛使用中，人们发现Inception Score与人类知觉有更好的相关性。 指标与生成的图片的质量和多样性比较相关，但是其实际上分数更高的图片是一些锐利并且多样化的图片，而并不是表示的生成的图片与真实图片之间的关系的程度。

此链接中详细描述了Inception Score的局限性。https://arxiv.org/abs/1703.02000v3

FID（ Fréchet Inception Score ）

这个评价采用了一个特征函数，将原来的分布映射成高斯随机变量，然后来计算两个高斯分布之间的Fréchet distance。

其中FID将Pr和Pg映射成高斯随机分布，且其样本均值为 µr 与 µg、样本协方差为 Cr 与 Cg。Tr（a）是矩阵的迹（主对角线元素之和）

Independent Wasserstein (IW) critic

使用独立的评判（critic）D^评估，D^将两个数据集X1和X2之间的Wasserstein Distance近似为：

在IW中所使用的Wasserstein Distance，又被称为Earth Mover Distance(推土机距离)：

Pi代表一张图的特征，Qj代表另一张图的特征，Wpi代表的是Pi的权重，Wqj代表的是Qj的权重，dij代表的是Pi和Qj