LOGAN：Latent Optimisation for Generative Adversarial Networks

2 BACKGROUND

2.2 GENERATIVE ADVERSARIAL NETS

GAN的min-max优化目标可以抽象为
$$\underset{{\theta }_D}{\min }\underset{{\theta }_G}{\max }{\mathbb{E}}_{x\sim p(x)}\left[h_D\left(D(x)\right)\right]+{\mathbb{E}}_{z\sim p(z)}\left[h_G\left(D\left(G(z)\right)\right)\right](1)$$
不同版本的GAN使用不同的$h(\cdot )$

【原始版本GAN】
$$\underset{{\theta }_G}{\min }\underset{{\theta }_D}{\max }{\mathbb{E}}_{x\sim p(x)}\log D(x)+{\mathbb{E}}_{z\sim p(z)}\log \left(1-D\left(G(z)\right)\right)$$
将$\underset{{\theta }_G}{\min }\underset{{\theta }_D}{\max }$变为$\underset{{\theta }_D}{\min }\underset{{\theta }_G}{\max }$，有
$$\underset{{\theta }_D}{\min }\underset{{\theta }_G}{\max }{\mathbb{E}}_{x\sim p(x)}-\log D(x)+{\mathbb{E}}_{z\sim p(z)}-\log \left(1-D\left(G(z)\right)\right)$$
于是可以看出$h_D(t)=-\log (t)$，$h_G(t)=-\log (1-t)$

【WGAN】
对于$G$：$\underset{{\theta }_G}{\max }{\mathbb{E}}_{z\sim p(z)}D(G(z))$
对于$D$：$\underset{{\theta }_D}{\min }{\mathbb{E}}_{z\sim p(z)}D(G(z))-{\mathbb{E}}_{x\sim p(x)}D(x)$

合并起来有
$$\underset{{\theta }_G}{\min }\underset{{\theta }_D}{\max }{\mathbb{E}}_{x\sim p(x)}-D(x)+{\mathbb{E}}_{z\sim p(z)}D(G(z))$$
于是可以看出$h_D(t)=-t$，$h_G(t)=t$

为了简化公式，令$f(z)=D(G(z))$，则公式(1)简化为
$$\underset{{\theta }_D}{\min }\underset{{\theta }_G}{\max }{\mathbb{E}}_{x\sim p(x)}\left[h_D\left(D(x)\right)\right]+{\mathbb{E}}_{z\sim p(z)}\left[h_G\left(f(z)\right)\right]$$