[GAN] Generative Adversarial Nets阅读笔记

1、目的

        通过对抗过程（G最大化D犯错的概率），模拟生成模型。

        理想情况下，存在最佳解：G可以还原训练数据的分布，D预测值始终为1/2。

        【通俗解释】G是假币制造团伙，D是公安机关；G的目标是使假币越来越逼真，D的目标是鉴别假币；通过双方势力的对抗学习，彼此最终都会得到提升。

        

2、网络结构

        1）生成模型G

                a）捕获数据分布

                b）输入随机噪声，符合一个分布先验

                c）可导多层感知机，生成概率分布为的结果

        2）判别模型D

                a）区分样本来源（训练数据 vs. 生成数据）

                b）输入G前传的结果

                c）多层感知机，输出标量概率值，评估来自于数据而不是的概率

 3、训练

        1）目标函数

                                

        由于训练早期，训练数据和生成数据的差异较大，从而导致饱和，因此G最小化可以用最大化来代替，便于在早期训练中提供较大的梯度 

      2）k steps优化D，1 step优化G（两者单独优化，没有同时update参数的过程）

        ​​​​​​​        ​​​​​​​        

4、理论证明

        太复杂了没看懂o(╯□╰)o

5、优缺点

        1）缺点

                a）无明确的表示形式

                b）D和G必须同步训练，G不能比D训得好太多，否则会出现"海奥维提卡情景"，导致模式坍塌

        2）优点

                a）可以通过梯度回传和dropout来学习整个网络，无需马尔科夫链或展开近似推理网络

                b）模型选择更加灵活

        ​​​​​​​        ​​​​​​​                

                 c）利用discriminator的梯度来更新generator的参数，而不是直接从数据中学习，不容易过拟合

                d）可以表示尖锐、退化的分布，无需模糊的分布来混合不同的模式

6、延伸

        1）条件生成模型：，在G和D之间引入c​​​​​​​

        2）近似推断：给定x预测z

        3）训练一系列共享参数的条件模型，用于建模各种分布

        4）半监督学习：discriminator的特征有助于提升分类器的性能

        5）提升效率：更好的协调G和D的训练；优化z的分布