GAN_Generative Adversarial Nets_阅读笔记

概述：

GAN的组成：生成模型G和判别模型D。 D用于评估样本来自原样本集而非G生成的概率。G:造假者，尽量使自己的产品以假乱真；D：警察，负责甄别产品真伪。
GAN可以解决的问题：可以从样本集中生成新的样本，可以学到样本的分布。
理想情况下GAN可以达到的效果：生成模型学到的样本分布与原样本集中样本分布完全一致，从而D得到的概率保持0.5。G的产品能够以假乱真，D无法区分了。

对抗网络

训练过程

理论推导

符号定义
$p_d(x)$：元样本集中x的概率密度函数。
$p_z(z)$ ：输入噪声的概率密度函数。
$p_g(x)$：G生成的x的概率密度函数。 $G(z) = p_g(x), z$~$p_z(z)$

优化函数：

$\min\limits_{G} \max\limits_{D} V(G, D) = E_{x \sim p_d(x)}[log(D(x))] + E_{z \sim p_z(z)}[log(1-D(G(z)))]$

优化算法：

算法有效性的证明：

易证当G固定时，D的最优值是： $\frac {p_d(x)} {p_d(x) + p_g(x)}$
易证当D取最优值时，当$p_g(x) = p_d(x)$时V取极小值。

术语：restricted Boltzmann machines (RBMs)、 deep Boltzmann machines (DBMs)、
Deep belief networks (DBNs)