SNGAN(频谱归一化GAN)笔记

SNGAN(频谱归一化GAN)

WGAN虽然性能优越，但是留下一个难以解决的1-Lipschitz问题，SNGAN便是解决该问题的一个优秀方案。

在GAN中，Wasserstein距离拥有更好的数学性质，它处处连续，几乎处处可导且导数不为0，所以我们更多的使用Wasserstein距离。

WGANcritic（判别器）的目标函数为：

SNGAN便是一种“严格”地解决了判别器1-Lipshcitz约束的方法。

1 最大特征值（奇异值）

我们从矩阵的特征值、奇异值开始说起。在线性代数中，Ax=b表示对向量x做矩阵A对应的线性变换，可以得到变换后的向量b。如果x为矩阵A对应的特征向量，则有：

即对特征向量x做矩阵A对应的线性变换的效果是：向量方向不变，仅长度伸缩λ 倍！比如，对

线性变换作用在特征向量的效果如下：

对于一般向量x，对其线性变换的中间运算过程可以分解为三步。例如对于计算Ax，其中x=[0,1]，先将x分解到两个特征向量上：

然后在两个特征向量方向上分别进行伸缩变换，有：

最后再进行简单的向量合成，可有：

一般的，对于非奇异n阶方阵，有n个特征向量和与之对应的特征值，故n阶方阵A对应的线性变换操作其实可以分解成三步：将向量x先分解到n个特征向量对应的方向上（本质是求解x在以特征向量组成的基上的表示），分别进行伸缩变换（在特征向量组成的基上进行伸缩变换），最后进行向量合成（本质是求解得到的新向量在标准基上的表示）。这其实就是在描述熟悉的矩阵特征值分解：

特征值分解其实是对线性变换中旋转、缩放两种效应的归并，奇异值分解正是对线性变换的旋转、缩放和投影三种效应的一个析构（当V的维度大于U的维度时存在投影效应）。

对于任意单位向量x，Ax的最大值(这里使用向量的2范数度量值的大小)是多少？显然，x为特征向量v2时其值最大，因为这时的x全部“投影”到伸缩系数最大的特征向量上，而其他单位向量多多少少会在v1方向上分解出一部分，在v1方向上只有2倍的伸缩，不如在v2方向上4倍伸缩的值来的更大。这样可以得到一个非常重要的式子：

其中σ (A)表示A的最大特征值（奇异值），也称为A的谱范数。

2 Lipshcitz限制

所谓Lipshcitz限制，在最简单的一元函数中的形式即:

直观上看，它要求f(x)任意两点之间连线的“斜率”绝对值小于Lipshcitz常数k。在WGAN中要求k=1，1-Lipshcitz限制要求保证了输入的微小变化不会导致输出产生较大变化。常见函数比如分段线性函数|x|，连续函数sin(x)都显而易见的满足该限制：

显然，f(x)=Wx不满足1-Lipshcitz限制，利用第一部分的结论，考虑到

即可以得到：

可以看出，虽然线性函数f(x)=Wx不满足1-Lipshcitz限制，但是可使用谱范数将W的”缩放大小“限定为小于等于1，（有点类似于向量的归一化操作）这样处理后的f*(x)可以满足1-Lipshcitz限制。