GAN笔记_李弘毅教程(十)Evaluation & Concluding Remarks

Evaluation

Likelihood

传统generator的方法
产生某一张特定图片的几率。
但问题是：GAN可能不会产生那张特定图片

所以用Kernel Density Estimation
每一个输出的样本是有相同协方差的高斯的平均值，估出它们的distribution

难点：
不知道要几个高斯
不知道要sample多少
就算真计算出 likelihood，也不确定它就能代表Quality：

把x输入进现成的图像分类器，输出的集中的分布代表有高的质量。（一张图看是否清晰）
还要有diverse，所有分布取平均，如果$p(y)$各类分布都比较平均，说明每一种不同的class都能被产生到，表明是diverse的，如果某一类分布很高，而其他低，那么说明表明结果是不diverse的。（多张图看是否diverse）

Inception Score

第一项：产生多个x，每一个x丢到classfier里算它的distribution，计算$p(y|x)$的负熵，负熵用来看该distribution够不够sharp，越sharp，表示产生的图片越好。
第二项：平均，熵越大，结果越好。

但也可能出现这种情况，GAN产生的结果很清晰，但是因为GAN从train data里拿出的图，硬记得图，这是我们不想要的。我们想要GAN是有创造力的。
如何看GAN是直接从train data里拿出的图呢？这是个issue，因为无法穷尽所有的train data。
如果用自动的方法将GAN产生的图和train data的每张图比较相似度，但仅比较相似度是不够的。
比如下图算pixel neighbor的相似度（值越小越好），将pixel向左移，移动的过程中，与原图最像的那张生成图也会移动，不是同一个。

Mode Dropping

GAN容易出现的问题
多样性不够
DCGAN（Deep conditional GAN）先让classfier看是不是像同一个人，然后再把像同一个人的图片让人来看是不是同一个人，最后算出不一样人脸的数量
把最右边一列（虚线框）的图是traindata里的图中找的最像的图，发现并不完全一样。
（有50%以上的几率能在400张图中找到另一张同一个人的人脸，可以衍生到很大数据集中有大约多少不同的人脸）
ALI更强些，可以产生更多的不同人的脸。

GAN和真实人脸比起来还是有一定程度的差距。

GAN产生的distribution不够大之solution

Unroll GAN

解决方法较复杂，运算量较大

Mini-batch Discrimination

原本是看一张image,看质量是否好
而这个方法是让D看一把image，来决定图片质量是否好：
不仅要看每张图片的质量，还要看这些图像之间是否相似。
从training data 和 generated image sample一把image出来,如果 generated image sample出来的一把都很像，那就是发生mode collapse，D就会发现这些图片的相似性很高，然后觉得这把图不realistic。

Optimal Transport GAN(OTGAN)

Concluding Remarks

from A to z(从头到尾，这里是表示不同字母开头的GAN)

C还有conditional GAN
还有BEGAN

MMGAN train不起来，所以用的NSGAN
progressive GAN从小图生成大图
Y形状