DL中常用的三种K-Lipschitz技术

在进入到正题前，首先来了解下什么是 K-Lipschitz 以及它在 DL 中能起到什么作用

Lipschitz continuity

利普希茨连续。满足如下性质的任意连续函数 $f$ 称为 K-Lipschitz：
$$\Vert f(x_1)-f(x_2)\Vert \le K\Vert x_1-x_2\Vert ,\forall x_1,x_2\in \text{dom}f$$
这里的 $\Vert \cdot \Vert$ 常用2-范。直观上看，Lipschitz 条件限制了函数变化的剧烈程度。在DL中，由于 Lipschitz continous 的函数的梯度上界被限制，因此函数会更平滑。因此利用梯度下降进行参数更新时，参数的变化不会太大/剧烈从而降低梯度爆炸的发生概率，使模型的更新更稳定。$K$ 称为 Lipschitz constant。

那么在 DL 中，有哪些方法可用于将 $f$ 限制在 K-Lipschitz 空间中？这里介绍三种：weight clipping、gradient penality、spectral normalization，一般而言，第三种的效果最佳

Weight clipping

由 Wasserstein GAN 提出。
在利用 gradient descent 进行参数更新后，在对所有参数进行如下操作：
$$w=\{\begin{array}{ll}c,& \text{if }w>c\\ -c,& \text{if }w<-c\\ w,& \text{otherwise}\end{array}$$
其中 $c$ 是人为设定的阈值。注意，Weight cplipping 并无法保证 $f$ 位于 1-Lipschitz，而只能保证其是 K-Lipschitz的（K具体无法确定）

Gradient penalty

由 Improved Training of Wasserstein GANs 提出。
理论支持：一个可微函数 $f$ 是 1-Lipschitz 当且仅当它对所有的输入 $x$ 均满足 $\Vert {\nabla }_{x}f(x)\Vert \le 1$，即，
$$f\in \text{1-Lipschitz}⟺\Vert {\nabla }_{x}f(x)\Vert \le 1,\forall x\in \text{dom}f$$
在具体实现时，即在 Objective function 中添加如下正则项：
min ⁡ θ { L ( x , θ ) + λ max ⁡ ( 0 , ∥ ∇ x f ( x ) − 1 ) ∥ } \min_{\theta} \{ \mathcal{L}(x, \theta) + \lambda \color{#F00}{\max(0, \| \nabla_x f(x) - 1) \| } \} θmin​{ L(x,θ)+λmax(0,∥∇x​f(x)−1)∥}
公式中的 $\mathcal{L}$ 即为 Loss/Objective function，而 $f$ 为 Score function。注意，优化该目标函数后，所解出的 $f$ 并无法保证一定满足 $\Vert {\nabla }_{x}f(x)\Vert \le 1$，但 $f$ 会偏向具有该属性

Spectral Normalization

谱归一化，由SN-GAN提出，是目前三种方法中效果最优的方法。

下面简要介绍其非严格的理论推导，主要来自知乎，再添加上自己的一些理解

理论推导

对于复合函数，存在如下定理：
$$\Vert f\circ g{\Vert }_{Lip}\le \Vert f{\Vert }_{Lip}\cdot \Vert g{\Vert }_{Lip}$$
neutral network 正是由多个复合函数嵌套而成，最常见的嵌套方式如下：$f(g(f(g(\cdots ))))$，其中 f 表示激活函数，$g$ 表示卷积操作（以CNN为例）。而 $f$ 常选取 LeakyRelu，Relu，Sigmoid，Tanh，而它们均为 1-Lipschitz。因此 $\Vert f\circ g{\Vert }_{Lip}\le \Vert f{\Vert }_{Lip}\cdot \Vert g{\Vert }_{Lip}=\Vert g{\Vert }_{Lip}$，故要使得复合函数 $f\circ g$ 为 1-Lipschitz，即需保证卷积操作 $g$ 是 1-Lipschitz，就可以保证整个网络都是 1-Lipschitz continous 的。

在图像上每个位置的卷积操作，正好就是做如下“局部区域“的变换：
$$\Vert {\text{unfold}}_{raw}(M)\cdot {\text{unfold}}_{col}(x)\Vert =y$$
其中 $x\in R^{f\times f}$ 为 local receptive field，$M\in R^{f\times f}$ 为卷积核，$y$ 为对应位置的卷积输出，${\text{unfold}}_{raw}(\cdot )$ 将 $\cdot$ 按行展开成行向量，${\text{unfold}}_{col}(\cdot )$ 将 $\cdot$ 按列展开成列向量。因此，只需保证 ${\text{unfold}}_{raw}(M)$ 是 1-Lipschitz，就可以使得整个 network 是 1-Lipschitz。

对任意矩阵 $A$ (${\text{unfold}}_{raw}(M)$ 是 $A$ 的一个具例)，存在如下定理：
$$\begin{array}{ll}& A\in \text{K-Lipschitz},\forall A:R^n\to R^m/\forall A\in R^{m\times n}\\ ⟺& \Vert A\overrightarrow{x}\Vert \le K\Vert \overrightarrow{x}\Vert ,\forall \overrightarrow{x}\in R^n\\ ⟺& ⟨A\overrightarrow{x},A\overrightarrow{x}⟩\le K^2⟨\overrightarrow{x},\overrightarrow{x}⟩\\ ⟺& {\overrightarrow{x}}^T(A^{T}A-K^{2}I)\overrightarrow{x}\le 0\\ ⟺& ⟨(A^{T}A-K^{2}I)\overrightarrow{x},\overrightarrow{x}⟩\le 0\end{array}\text{\hspace{1em}(1)}$$
因