【论文阅读笔记】AdaGAN

#AdaGAN

本文为阅读论文AdaGAN: Boosting Generative Models的理解与心得，旨在总结阐述该论文的核心思想与算法。
论文原址

在本文中符号说明如下：

Notations	Meaning
$P_d$	real data distribution
$P_{model}^T$	mixture model distribution of $T$ components
$P_g$	the current generative mixture model before adding new component
$P_Z$	noise distribution
$Q$	new component
$\mathcal{X}$	data space
$\mathcal{Z}$	latent space
$G$	generative function
$D_M$	mixture discriminator
$D_f$	$f$-divergences
$S_N$	training sample

##算法流程

AdaGAN算法流程如下

现在我们讨论的目标就是：

1. 证明这件事在数学上work；
2. 找到合适的$ChooseMixtureWeight$和$UpdateTraingWeights$函数。
   为了更直观地理解算法，而非论文，我们从后往前考虑该篇论文，即先看算法实现，再看数学证明。

##算法实现
该论文提出的$ChooseMixtureWeight$和$UpdateTraingWeights$函数如下：

###ChooseMixtureWeight
根据GAN中使用的Jensen-Shannon divergence我们知道，$d{P}_g/d{P}_d$可以由一个corresponding function $h$与$D_M$的值产生联系，即，
$$\frac{d{P}_g}{d{P}_d}(x)=h(D_M(x))$$
其中$h(z)=\frac{1-z}{z}$。
在训练中，我们对于$S_N=(X_1,X_2,...,X_N)$中的每一个训练样本$X_i$的权重$w_i$做更新，算法如下：
$$w_i=\frac{1}{\beta N}({\lambda }^{\ast }-(1-\beta )h(d_i){)}_{+}$$
其中$d_i=D_M(X_i$