《生成对抗网络》原理

1.符号表示
$$P_g$$
表示生成器的分布。
$$p_z(z)$$
表示输入噪声变量的先验。
$$G\left(z;{\theta }_g\right)$$
表示由噪声所生成的分布，其中 G 是由网络层和参数 θ表示的可导函数。
$$D\left(x;{\theta }_d\right)$$
是判别器，D(x) 表示 x 来自数据集而不是p_g的概率。

训练 D 的目标是最大化给训练集和生成数据分配正确标签的概率。同样情况下我们训练G来最小化
$$\log (1-D(G(z)))$$
此时的G和D在进行零和博弈，通过价值函数 V(G,D)表示为
$$\underset{G}{\min }\underset{D}{\max }V(D,G)={\mathbb{E}}_{\mathbf{x}\sim p_{\text{data }}(\mathbf{x})}[\log D(\mathbf{x})]+{\mathbb{E}}_{\mathbf{z}\sim p_{\mathbf{z}}(\mathbf{z})}[\log (1-D(G(\mathbf{z})))]$$

文中采用的方法是：在优化判别器D的k个步骤和优化生成器G的一个步骤之间交替进行。这样做的结果是：只要G改变的足够慢，D将被保持在最优值的附近。具体算法为：

事实上，这场minimax游戏的全局最优解是：$$p_g=p_{\mathrm{d}\mathrm{a}\mathrm{t}\mathrm{a}}$$下面阐述证明。

首先，我们考虑对于任意的生成器G，存在最优判别器D
命题一：固定G，最优判别器D是$$D_G$$