WGAN and WGAN-GP：Wasserstein GAN and Improved Training of Wasserstein GANs

Wasserstein GAN and Improved Training of Wasserstein GANs

Paper:
WGAN:https://arxiv.org/pdf/1701.07875.pdf
WGAN-GP:https://arxiv.org/pdf/1704.00028.pdf
参考：
https://lilianweng.github.io/lil-log/2017/08/20/from-GAN-to-WGAN.html
https://vincentherrmann.github.io/blog/wasserstein/
recommend:https://www.depthfirstlearning.com/2019/WassersteinGAN
（阅读笔记）

1.Intro

• 得到目标概率密度一般就利用极大似然估计的方法，而不同分布之间则一般用散度衡量。
• 模型生成得到的分布与原始真实的分布不太可能有交叉的地方。两个分布都仅仅只是各自有各自的，而不是联合的，得到的这种形式的目标分布是不理想的。It is then unlikely that…have a non-negligible intersection.
  • 所以很多文献都是通过给目标分布添加噪声来尽量覆盖所有的例子，但是会使图像受损。
  • 而GAN就是通过生成器让低维流形产生高维的分布，当下效果也不是很理想。
• 主要目标是衡量分布之间的距离。we direct our attention on the various ways to measure how close the model distribution and the real distribution are, or equivalently.
• 研究了EM距离。we provide a comprehensive theoretical analysis of how the Earth Mover (EM) distance behaves in comparison to popular probability distances and divergences used in the context of learning distributions.
• 定义了WGAN。we de fine a form of GAN called Wasserstein-GAN that minimizes a reasonable and efficient approximation of the EM distance, and we theoretically show that the corresponding optimization problem is sound.

2.Distances

• 各种$distances(divergences)$：$\mathbf{T}\mathbf{V}$；$\mathbf{K}\mathbf{L}$；$\mathbf{J}\mathbf{S}$等（可见论文$f$-GAN），而$Earth$-$Mover(EM)$如下：
  $$\begin{array}{rl}W({\mathbb{P}}_r,{\mathbb{P}}_g)& =\underset{\gamma \in \Pi ({\mathbb{P}}_r,{\mathbb{P}}_g)}{\inf }{\mathbb{E}}_{(x,y)\sim \gamma }\left[\Vert x-y\Vert \right]\\ & =\underset{\gamma \in \Pi ({\mathbb{P}}_r,{\mathbb{P}}_g)}{\inf }\int \int \left[\gamma (x,y)\Vert x-y\Vert \right]\mathrm{d}x\mathrm{d}y\end{array}\text{\hspace{1em}(1)}$$
  ${\mathbb{P}}_r,{\mathbb{P}}_g$的联合分布集为$\Pi$；$\gamma$是其中一种联合分布；从$\gamma$中抽样得到所有$(x,y)$，用范数衡量距离后再求均值；在所有联合分布集$\Pi$中，$\gamma$使该期望达到下界，该最小值即是$Earth$-$Mover(EM)$。
  所以具体实现就是类似推土的意思，主要目标是保证每一组抽样点相似：

  
  

• 假设有均匀分布$Z\sim U[0,1]$，现有真实分布$P_0\sim (0,Z)\in {\mathbb{R}}^2$，类似在二维坐标图中，点分布于$y$轴$0$到$1$。而目标使分布$g_{\theta }\sim (\theta ,Z)$去拟合$P_0$。
  $$\begin{gathered} \forall (x,y)\in P,x=0\text{ and }y\sim U(0,1) \\ \forall (x,y)\in Q,x=\theta ,0\le \theta \le 1\text{ and }\theta ,y\sim U(0,1) \\ \text{\hspace{1em}(2)} \end{gathered}$$

  
  所以有如下距离定义，只有当 $\theta =0$时，才能达到最小，但是除了 $W$，均达不到最下值。：
  $$\begin{array}{rl}W({\mathbb{P}}_0,{\mathbb{P}}_{\theta })& =|\theta |\\ \mathbf{J}\mathbf{S}({\mathbb{P}}_0,{\mathbb{P}}_{\theta })& =\{\begin{array}{ll}\log 2& \text{if θ=0}\\ 0& \text{if θ=0}\end{array}\\ \mathbf{K}\mathbf{L}({\mathbb{P}}_0,{\mathbb{P}}_{\theta })& =\mathbf{K}\mathbf{L}({\mathbb{P}}_{\theta },{\mathbb{P}}_0)=\{\begin{array}{ll}\infty & \text{if θ=0}\\ 0& \text{if θ=0}\end{array}\\ \mathbf{T}\mathbf{V}({\mathbb{P}}_0,{\mathbb{P}}_{\theta })& =\{\begin{array}{ll}1& \text{if θ=0}\\ 0& \text{if θ=0}\end{array}\\ \text{where: DKL(P∥Q) }& \text{=∑x=0,y∼U(0,1)1⋅log01=+∞ }\\ \text{ DJS(P∥Q)}& =\text{21(∑x=0,y∼U(0,1)1⋅log1/21+∑x=0,y∼U(0,1)1⋅log1/21)=log2 }\end{array}\text{\hspace{1em}(3)}$$

• Why Wasserstein is indeed weak?（有待研究更新）
  论文还叙述了为什么Wasserstein距离是比$\mathbf{J}\mathbf{S}$距离差的，但作者仍然用Wasserstein距离。证明用到了一些泛函的概念。$\mathcal{X}$为${\mathbb{R}}^2$中的一组集，即$\mathcal{X}\in {\mathbb{R}}^2$；$C_b(\mathcal{X})$是将$\mathcal{X}$映射到$\mathbb{R}$的函数的空间（$C_b(\mathcal{X})$中每一个元素都是函数，它是一集合）：
  C b ( X ) = { f : X → R , f  is continuous and bounded } (4) \begin{aligned} C_b(\mathcal{X}) &= \{ f:\mathcal{X} \rightarrow \mathbb{R}, &\text{$f$ is continuous and bounded} \}\\ \tag{4} \end{aligned} Cb​(X)​={f:X→R,​f is continuous and bounded}​(4)
  当有$f\in C_b(\mathcal{X})$后，按照矩阵的方式理解则有，所以$f$的无穷范数即是得到的${\mathbb{R}}^2$空间结果的绝对值最大值：
  $$\begin{array}{r}\text{assume:}{f}_{m\times n}\cdot {\mathcal{X}}_{n\times 1}={\mathbb{R}}_{m\times 1}\\ \therefore f_{m\times n}\cdot {\mathcal{X}}_{n\times d}={\mathbb{R}}_{m\times d}\\ \therefore \Vert f{\Vert }_{\infty }=\underset{x\in \mathcal{X}}{\max }|f(x)|\end{array}\text{\hspace{1em}(5)}$$
  给集合$(C_b(\mathcal{X})$赋予一范数进行约束得到一个赋范向量空间$(C_b(\mathcal{X}),\Vert \cdot \Vert )$（$f_{\infty }$范数诱导的自然拓扑）
  $$\begin{array}{r}\mathbb{E}\times \mathbb{E}⟶\mathbb{R}(x,y)\mapsto \Vert x-y\Vert (x,y)\mapsto \Vert x-y\Vert \end{array}\text{\hspace{1em}(6)}$$

3.WGAN

• 利用Kantorovich-Rubinstein对偶性，将推土距离转换如下（but why?有待研究更新），其中$K$代表$\text{K-Lipschitz}:|f(x_1)-f(x_2)|\le K|x_1-x_2|$，约束函数平稳，斜率不能太大：
  $$\begin{array}{r}W({\mathbb{P}}_r,{\mathbb{P}}_{\theta })=\frac{1}{K}\underset{\Vert f{\Vert }_L\le K}{\sup }{\mathbb{E}}_{x\sim {\mathbb{P}}_r}[f(x)]-{\mathbb{E}}_{x\sim {\mathbb{P}}_{\theta }}[f(x)]\end{array}\text{\hspace{1em}(7)}$$
  所以有$\text{K-Lipschitz}$函数 { f w } w ∈ W \{ f_w \}_{w \in W} {fw​}w∈W​，判别器需要学到一个好的$f$，并且要求损失函数如下进行收敛：
  $$\begin{array}{r}L({\mathbb{P}}_r,{\mathbb{P}}_{\theta })=W({\mathbb{P}}_r,{\mathbb{P}}_{\theta })=\underset{w\in W}{\max }{\mathbb{E}}_{x\sim p_r}[f_w(x)]-{\mathbb{E}}_{z\sim p_r(z)}[f_w(g_{\theta }(z))]\end{array}\text{\hspace{1em}(8)}$$
  

正如算法流程所述， 以便使用梯度下降，所以文中使用约束权重范围的方法，以防止改变权重造成很大的改变，确保$\text{1-Lipschitz}$。

4.WGAN-GP

Intro

• 在WGAN-GP的文章中提出了使用权重约束的问题，会不收敛或者仅产生较差的样本。but sometimes can still generate only poor samples or fail to converge.
• 提出了新的裁剪权重的方法（梯度惩罚gradient penalty）。We propose an alternative to clipping weights: penalize the norm of gradient of the critic with respect to its input.

Details

• 对于$\text{1-Lipschitz}$的函数$f$意味这${\mathbb{P}}_r,{\mathbb{P}}_{\theta }$之间的梯度不会超过1，所以惩罚梯度的意思就是惩罚大于1的情况。所以损失就如下改变：
  $$\begin{array}{r}L={\mathbb{E}}_{\tilde{x}\sim {\mathbb{P}}_{\theta }}\left[D(\tilde{x})\right]-{\mathbb{E}}_{\tilde{x}\sim {\mathbb{P}}_r}\left[D(\tilde{x})\right]+\lambda {\mathbb{E}}_{\hat{x}\sim {\mathbb{P}}_{\hat{x}}}\left[(\Vert {▽}_{\hat{x}}D(\hat{x}){\Vert }_2-1{)}^2\right]\end{array}\text{\hspace{1em}(9)}$$
  前一部分很容易理解即是GAN的标准损失，后面一项就是超参数$\lambda$下对梯度进行约束的表达。
• 由上述式子理应该对所有的数据进行惩罚，但是这样却很棘手，无法对所有的数据都保证斜率小于1，所以是重新随机抽出一个数据集$\hat{x}$，仅对其进行惩罚。
• 没有BN层，$\lambda$设置为10。
• 理论上惩罚应该仅仅对所有的大于1，而小于1的部分不用管 max ⁡ { 0  ,  ( ∥ ▽ x ^ D ( x ^ ) ∥ 2 − 1 ) 2 } \max\{0 \text{ , } (\| \bigtriangledown_{\hat{x}}D(\hat{x}) \|_2-1)^2 \} max{0 , (∥▽x^​D(x^)∥2​−1)2}，但是让其靠近1理论上更好。We encourage the norm of the gradient to go towards 1 (two-sided penalty) instead of just staying below 1 (one-sided penalty).