了解GAN网络

GAN网络（Generative Adversarial Networks），生成对抗网络，由lan Goodfellow在2014年提出，发表在NIPS会议（神经信息处理系统大会）上。

第一次听说GAN网络就不明觉厉。其他网络都是对输入图像进行某种处理，得到某种特定的输出。而GAN网络居然可以“无中生有”，无论是去除马赛克，还是换脸，还是对灰度图像上色，都显得不可思议，怎么可能凭空产生多余的信息？

在做了一点初步的了解之后发现，GAN网络确实和直观的感觉一样，它不需要带标签的图像进行训练，这也是它得到Yann Lecunc称赞为机器学习十年来最有意思的想法的原因，它使无监督学习成为可能。但作为一个机器学习方法，它依然应该有机器学习的三要素：模型，策略，算法。先再介绍一下GAN网络的基本情况，再来从三要素分析之。

模型

GAN网络使用了两个模型，一个是生成器Generator（属于生成模型），一个是鉴别器Discriminator（属于判别模型）。两个模型的关系是相互对抗又相互促进，就像军备竞赛一样，这也是这个网络名字的由来。

生成器使用随机噪声或者潜在变量生成逼真的样本。鉴别器实质就是一个二分类器，判断当前输入是真实样本还是仿冒样本。下面是GAN网络的基本架构：

从图中可以看到GAN网络基本分为G和D两部分。G和D有时相连接，有时断开（这时D的输入是真正的样本）。这种特殊的连接关系实际是之后要讲的训练方法：单独交替迭代训练。

策略

训练的结果，这两个模型会达到纳什均衡，鉴别器再也分不清楚生成器生成的样本是真是假，若分类器是软判决的，那么输出的概率都分布在0.5附近，距离1和0的距离相同。

纳什均衡是博弈学中的一个概念，被广泛应用于经济学中。比如两个厂商，它们的定价策略有各种组合形式，那么存在这么一直策略组合是稳定的，在这种局面下，任何一方单独改变策略，都无法获得收益，于是没有哪一方会主动改变策略，从而继续维持稳定。GAN就是生成器和鉴别器之间的博弈。

考虑鉴别器D，我们站在鉴别器的角度考虑问题。鉴别器的输出是概率，分布在0~1之间，1代表真实样本，0代表假样本。当D的输入是真实样本时，希望输出越大越好；当D的输入是生成器产生的假样本时，希望输出越小越好，即能正确识别真假。

考虑生成器G，我们希望G生成的样本也可以以假乱真，被D判别为近似1。

算法

具体算法还需要研究作者的文章。在这里分析一下前面提到的单独交替迭代训练。鉴别器比较容易理解，就是一个带监督的分类器。虽然说我们提供的样本是没有标签的，那只是意味着我们不知道样本图像具体的类别，我们也不需要知道，我们只需要知道它是真样本还是假样本就可以了（把真/假作为标签）。这时候鉴别器不需要和生成器相连。也可以理解为先固定生成器的参数，之后还要固定鉴别器的参数，更新生成器的权重。

对于生成网络，就需要两个模型相连，这样我们才能得到反馈。这时候保持鉴别器D的参数不变，还需要注意的是要把生成器生成的结果的标签置1，因为我们希望鉴别器能把它判为1，这样把鉴别器的输出一直逼近1就达到了训练的目的。

链接中给了使用matlab的DeepLearnToolbox生成mnist图像的例子。但是在github有说明这个项目已经不再维护，作者推荐使用Theano，torch，TensorFlow。

使用方法分两步

        1. Download.

        2. addpath(genpath('DeepLearnToolbox'));

然后就可以在test文件夹中运行测试用例了。

P.s 在matlab中使用自定义函数，要将函数定义在同名m文件中，用function修饰。

除了普通的GAN，还有条件GAN，让生成的样本符合我们的预期。这个条件可以是类别标签（例如 MNIST 手写数据集的类别标签），也可以是其他的多模态信息（例如对图像的描述语言）等。

Reference：

1. 好在哪里 火热的生成对抗网络（GAN），你究竟好在哪里_约稿纳什均衡-CSDN博客
2. 单独交替迭代简单理解与实验生成对抗网络GAN_生成对抗网络gan实验-CSDN博客
3. 三篇文章https://www.cnblogs.com/Charles-Wan/p/623803html
4. DeepLearnToolbox：https://blog.csdn.net/zhenyu_zhang/article/details/78266415?locationNum=3&fps=1