05.SNGAN（Spectral Normalization for Generative Adversarial Networks）

参考链接

introduce

现在我们的目的，是要保证对于每一个位置的 x，梯度的模都小于等于 1。在神经网络中，将梯度的模限制在一个范围内，抽象地来说就是让产生的函数更平滑一些，最常见的做法便是正则化。SNGAN（频谱归一化 GAN）为了让正则化产生更明确地限制，提出了用谱范数标准化神经网络的参数矩阵 W，从而让神经网络的梯度被限制在一个范围内。

method

频谱范数

Lipschitz：

我们的目的就是为了满足Lipschitz限制

激活函数是ReLU。

至此我们得出了一个非常重要的结论，为了限制𝑊Θ,x的谱范数，只需要每个𝑙 ∈ {1, … , 𝐿}限制𝑊𝑙的谱范数就足够了

实现

（sup上届 inf下届）

奇异值

看不懂 -_-
理解
参考

求解：

conclusion