Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regul笔记

预备知识

1. weight decay
   l2正则化是weight decay中最常用的方法。假设一个向量的p范数记为$||\cdot |{|}_p$, 矩阵范数记为$||.|{|}_p^q$。矩阵范数具体格式为$||W|{|}_p^q=(||w_1|{|}_p^q+||w_2|{|}_p^q+\cdots +||w_k|{|}_p^q{)}^{\frac{1}{q}}$, $||w_k||$指第k个行向量p范数的q次方。2正则化公式如下(L是层数):
   $$\sum _{i=1}^L\Vert W_i{\Vert }_2^2\text{\hspace{1em}(1)}$$
2. 同性激活函数
   该论文将具有以下属性的函数称为同性函数。同样地，具有以下属性的激活函数就是同性激活函数(relu, linear等)。
   $$f(x)=af(\frac{1}{a}x)\text{\hspace{1em}(2)}$$

发现的问题

1. 权重规模转移
   假设有一个两层的网络$N$, 输入是$X\in R^d$, $W_1\in R^{d\times h}$，$W_2\in R^h$, 同性激活函数$\varphi$, 网络$N$的输入输出映射函数可写成如下形式：
   $$y=W_2^T\varphi (W_1^{T}X).\text{\hspace{1em}(3)}$$
   在网络N训练的过程中，可能会发生网络输入输出映射不会发生变化，但是权重规模可能发生的转移：
   $$y=a{W}_2^T\varphi (\frac{1}{a}{W}_1^{T}X)={\hat{W}}_2^T\varphi ({\hat{W}}_1^{T}X).\text{\hspace{1em}(4)}$$
   $W_1$的规模减少了$a$倍, $W_2$的规模增加了$a$倍，但是网络整体没有变化。

根据公式1、公式3和公式4，我们可以发现，权重规模转移会改变网络的weight decay正则化，即使网络整体没有变化。《Improve Generalization and Robustness of Neural Networks》就根据这个现象提出，由于同性激活函数的存在，在不改变网络函数的情况下，会发生权重规模转移的现象，这会导致weight decay无法很好地正则化神经网络(至于为什么无法很好地工作，大家可以查看原始论文的证明)。

解决办法

1. 不使用同性函数
   由于现在主流的激活函数都是同性函数，所以该办法不可行。
2. 论文提出的解决办法
   提出一种可以对权重规模转移保持不变的正则化方法。
   (1)定义可以评估第$i$层权重$W_i$的规模的函数$\eta (W_i)$, $\eta (\cdot )$可以是$||\cdot |{|}_p^q$.
   (2)将网络所用层(L层)的规模相乘, ${\prod }_{i=1}^L\eta (W_i)$
   (3)对于每一层权重执行归一化, $g(\frac{W_i}{\eta (W_i)})$, $g(\cdot )$可以是$||\cdot |{|}_p^q$
   (4) $\Omega (N)={\lambda }_1{\prod }_{i=1}^L\eta (W_i)+{\lambda }_2{\sum }_{i=1}^{L}g(\frac{W_i}{\eta (W_i)})$。论文也给出了具体的公式,$\eta (\cdot )=||\cdot |{|}_2^2$,$g(\cdot )=||\cdot |{|}_1^1$,$\Omega (N)={\lambda }_1{\prod }_{i=1}^L||W_i|{|}_2^2+{\lambda }_2{\sum }_{i=1}^L||\frac{W_i}{||W_i|{|}_2^2}|{|}_1^1$。

提出方法的效果

1.该正则化方法对权重规模转移具有不变性，即可以有效地控制网络的复杂度以提升网络的泛化性能。
2.该正则化方法可以提升网络的对抗鲁棒性。

本人的一点见解

虽然论文的作者是在假设网络的输入输出映射函数保持不变的情况下提出权重规模转移问题，但是其已经用实验证明了无论网络函数是否变化，提出的方法在泛化性能和对抗性能上都优于weight decay。

创新点评价