李宏毅：evaluation of generative model

1、likelihood

无法获得likelihood

解决办法：可以先用generator产生一把sample；接下来再用这把sample，用另外一个比较简单的distribution去approximate你的generator。

2、likelihood vs quality

用generator产生出来的image，它的quality和likelihood不见得是有一定的关系的。

3、如何衡量你产生的image的好坏（quality）

把某一张generator产生的image丢入CNN，如果得到的distribution越分散，就代表产生的image越差。如果分布越集中（entropy 越低），则产生的image越好。

4、如何衡量你的model是否能产生多样化的image（产生出来的image有没有diverse）

分别把generator产生的image放到CNN中，得到不同的distribution，计算他们的distribution之和，越大说明图片越分散，越不同。

5、如何把上述两个要求结合在一起（quality+diverse）

Inception Score

cross entropy越大越好，因为我们希望image之间的相似度越小越好。negative entropy越大越好。总体上来说就是希望Inception Score越大越好。

6、K-Nearest Neighbor

有时候你会想要检查machine是否生成新的image。你希望generator产生的image是你的database中没有的。

有时候可能只是移动了一个像素点，就可能会认为产生了不同的两张image（wrong）。

7、model collapse