GANs入门系列三

该博客是根据台大李宏毅老师的关于GAN的视频教程所整理的笔记，建议大家可以直接看这个老师的视频（因在youtube，故需翻墙）

Improving Generative Adversarial Network

f-GAN

总结：除了可以使用 $\text{J-S divergence}$ 外，还可以选择其它任何 f-divergence 来评测两个分布的差异度，即任意 f-divergence 均可套用到 GANs 框架中

f-divergence

$P$ 和 $Q$ 是两个分布。$p(x)$ 和 $q(x)$ 是从这两个分布中采样得到 $x$ 的概率，f-divergence 的计算公式为：
$$D_f(P|Q)={\int }_{x}q(x)f(\frac{p(x)}{q(x)})dx\ge 0,s.t.,f\text{ is convex},f(1)=0$$
该公式用于评测这两个分布之间的差异，值越高，差异越大，反之越小。

(Reverse) KL-divergence 是 f-divergence 的一种特例：
$$\begin{array}{lll}f(x)=x\log x& \to & D_f(P\Vert Q)={\int }_{x}q(x)\frac{p(x)}{q(x)}\log \frac{p(x)}{q(x)}dx={\int }_{x}p(x)\log \frac{p(x)}{q(x)}dx\text{(KL)}\\ f(x)=-\log x& \to & D_f(P\Vert Q)={\int }_{x}q(x)\left(-\log \frac{p(x)}{q(x)}\right)dx={\int }_{x}q(x)\log \frac{q(x)}{p(x)}dx\text{(Reverse KL)}\\ f(x)=(x-1{)}^2& \to & D_f(P\Vert Q)={\int }_{x}q(x){\left(\frac{p(x)}{q(x)}-1\right)}^{2}dx={\int }_x\frac{(p(x)-q(x){)}^2}{q(x)}dx\text{(Chi Square)}\end{array}$$

Fenchel Conjugate (共轭函数)

每一个凸函数 $f$ 都有一个共轭函数 $f^{\ast }$: f ∗ ( t ) = max ⁡ x t ∈ d o m ( f )