tf中的GAN原理及变种

tf中的GAN原理及变种

1. GAN基本原理

• GAN基本结构：
  
• GAN基本思想：训练一个判决器，要求其判决准度够高。训练一个生成器，使其生成的数据的分布与训练判决器数据的分布尽可能接近，即使$p_g(x)$$p_r(x)$尽可能相似
• GAN的损失函数：$$mi{n}_{G}ma{x}_{D}L(D,G)=E_{x\sim p_r(x)}[\log D(x)]+E_{z\sim p_z(z)}[\log (1-D(G(z)))]$$ $$mi{n}_{G}ma{x}_{D}L(D,G)=E_{x\sim p_r(x)}[\log D(x)]+E_{x\sim p_g(x)}[\log (1-D(x))]$$

2. 纳什均衡

• GAN训练方法：一般在训练GAN时，首先固定G，训练D，然后再固定D，训练G
• KL散度：$$D_{KL}(p\mid \mid q)={\int }_{\infty }p(x)\log \frac{p(x)}{q(x)}dx$$
• JS散度：$$D_{JS}(p\mid \mid q)=\frac{1}{2}{D}_{KL}(p\mid \mid \frac{p+q}{2})+\frac{1}{2}{D}_{KL}(q\mid \mid \frac{p+q}{2})$$
• Discriminator（D）：GAN的损失（质量）函数为$$V(D,G)={\int }_{\infty }{p}_r(x)\log D(x)+p_g(x)\log (1-D(x))dx$$在固定G后，可以简化为$$D_G^{\ast }(x)=\frac{p_r(x)}{p_r(x)+p_g(x)}$$
• Generator（G）：$$D_{JS}(p_r\mid \mid p_g)=\frac{\log 4+L(G,D^{\ast })}{2}$$ $$L(G,D^{\ast })=2D_{JS}(p_r\mid \mid p_g)-2\log 2$$

3. DCGAN

• DCGAN结构示意：
  
• Transposed Convolution：一般情况下，卷积用于降维。而Transposed Convolution通过padding的方式来增维
• DCGAN需要精细设计参数，才可得到较好的结果

4. EM距离

• JS和KL散度存在的问题：KL和JS散度在p和q相差较大的时候，更新十分困难（梯度弥散）。对于GAN，初始状态（一般为高斯噪声）与所需生成的数据之间的差距一般差别很大，这就导致了GAN的初期训练十分艰难
• Wasserstein距离：Wasserstein距离指把一个分布转化为另一个分布的最小步数
• 【数学】Wasserstein Distance

5. WGAN

• 相比于传统GAN的损失函数（基于JS散度），WGAN采用Wasserstein Distance作为损失函数，有效地解决了初期训练困难的问题
• WGAN采用Wasserstein Distance作为损失函数，需要满足下式（1-Lipschitz Function）$$\mid f(x_1)-f(x_2)\mid \le \mid x_1-x_2\mid$$为了满足此式采用Weight Clipping，即把权值限定在[-a,a]中，若w>a，则w=a；若w<-a，则w=-a；Weight Clipping思想即把参数总量限制在一定范围内
• WGAN的损失函数：$$L=E_{\check{x}\sim P_g}[D(\check{x})]-E_{x\sim P_r}[D(x)]+\lambda E_{\hat{x}\sim P_{\hat{x}}}[(\mid \mid {\nabla }_{\hat{x}}D(\hat{x})\mid {\mid }_2-1{)}^2]$$ $$\hat{x}=t\check{x}+(1-t)x0\le t\le 1$$其中前两部分是计算损失，最后一个部分是限制参数（梯度）在某一范围
• WGAN的初期训练不需要精细设计参数，就可得到较好的结果