L2正则化原理 / 特征值剖析

特征值

特征分解是常见的矩阵分解的一种，是将矩阵分解成一组特征向量和特征值的操作。定义一个矩阵为 A :

$Av = \lambda v$

$v$ 为矩阵 A 的特征向量，$\lambda$ 为矩阵 A 的特征值。求解特征向量和特征值的过程就是特征分解。在不涉及非实数的情况下来进行特征分解，每个实对称矩阵都可以分解成实特征值和实特征向量：

$A = Q \Lambda Q^T$

Q 是矩阵的特征向量组成的正交矩阵，$\Lambda$ 是对角矩阵。对角矩阵对应的值对应特征向量矩阵的列。在正交矩阵中，任意一组特征向量和对应的特征值组成的集合在二维平面上都可以表示为一个圆在这组正交向量的方向上进行特征值倍数的伸展压缩。

L2正则化

正则化的是通过对目标函数添加一个参数惩罚项限制模型的学习能力。在L2正则里，这个惩罚项被设定为$L^2$（欧几里得范数）参数范数惩罚，使惩罚对象更加接近原点。在神经网络中，通常只对权重做正则惩罚，将目标函数中的权重 $w$ 标注为参数 $\theta$，将未被正则处理的最优权重 $w^*$ 标注为 $\theta^*$后：

$J(\theta)^* = J(\theta) + \alpha \Omega(\theta)$

用泰勒公式处理，在最优权重处做函数的近似二阶泰勒级数，并展开惩罚项后：

$J(\theta)^* = J(\theta^*) + (\theta - \theta^*)^Tg + \frac{1}{2}(\theta - \theta^*)^TH(\theta - \theta^*) + \frac{\alpha}{2} \theta^T\theta$

$g$为最优权重处的梯度，$H$ 为在最优权重处计算的黑塞矩阵。因为 $\theta^*$ 被定义为最优点，所以 $g$ 梯度为0：

$J(\theta)^* = J(\theta^*) + \frac{1}{2}(\theta - \theta^*)^TH(\theta - \theta^*) + \frac{\alpha}{2} \theta^T\theta$

继续对函数求偏导后，得到$J^*$ 的梯度：

$\nabla _\theta J(\theta)^* = H(\theta - \theta^*) + \alpha \theta$

因为函数取最小值，其梯度为零：

$H(\theta - \theta^*) + \alpha \theta = 0$

可得：

$\theta = (H + \alpha I)^{-1}H\theta^*$

黑塞矩阵是实对称矩阵，之前提到过实对称矩阵都可以分解成特征向量和特征值的组合：

$\theta = (Q \Lambda Q^T + \alpha I)^{-1}Q \Lambda Q^T\theta^*$
  $= Q (\Lambda + \alpha I)^{-1} \Lambda Q^T\theta^*$

其中的 $(\Lambda + \alpha I)^{-1} \Lambda$ 可以看做是将原有黑塞矩阵的特征值变为 $\frac{\lambda}{\lambda + \alpha}$ ，根据之前的特征向量和特征值的说明，会根据黑塞矩阵的特征向量进行对应的最优权重值缩放。对特征值求lim，沿着特征值较大的方向正则化影响较小，反之会收缩到几乎为零，也就是说这种不重要方向对应的分量会在训练过程中因正则化而衰减掉。