L1正则化和L2正则化

一、向量和矩阵的范数

范数是一个函数，常用来表示某个向量空间里（或矩阵）中的每个向量的长度或大小。

1.1 向量的范数

对于一个向量$\mathbf{x}=(x_1,x_2,...x_n)$，给出如下的范数定义：
0-范数：$||\mathbf{x}|{|}_0={\sum }_{i}I(x_i̸=0)$，表示向量中非零元素的个数，反映了向量元素的稀疏性
1-范数：$||\mathbf{x}|{|}_1={\sum }_i|x_i|$，即向量各元素的绝对值之和
2-范数：$||\mathbf{x}|{|}_2=({\sum }_i{x}_i^2{)}^{1/2}$，即向量各元素的根号平方和
$\infty$-范数：$||\mathbf{x}|{|}_{\infty }=max(x_i)$，即向量各元素中的最大值
$-\infty$-范数：$||\mathbf{x}|{|}_{-\infty }=min(x_i)$，即向量各元素中的最小值
$p$-范数：$||\mathbf{x}|{|}_p=({\sum }_i{x}_i^p{)}^{1/p}$
不难发现，$p$数越大，越容易倾向于倾向大值，而忽略小值，导致对异常值的更加敏感（比如MSE比MAE对异常值更敏感）。随着$p$的变化，范数的变化特点可通过下图直观体现出来：

1.2 矩阵的范数

对于矩阵$A$，其$i$行$j$列元素为$a_{ij}$，给出如下的范数定义
1-范数：$||A|{|}_1=\underset{j}{\max }\sum _i|a_{ij}|$，也称列和范数，即矩阵各列中元素绝对值之和最大的值
2-范数：$||A|{|}_2=\max {\lambda }_i$，${\lambda }_i$为矩阵特征值，即矩阵的最大特征值，几何意义上表示矩阵主特征方向的拉伸比例，也称谱范数
$\infty$-范数：$||A|{|}_{\infty }=\underset{i}{\max }\sum _j|a_{ij}|$，也称行和范数，即矩阵各行中元素绝对值之和最大的值
F-范数：$||A|{|}_F=(\sum _{i,j}{a}_{ij}^2{)}^{1/2}$，即矩阵各元素根号平方和
核-范数：$||A|{|}_{\ast }=\sum _i{\lambda }_i$，即矩阵各奇异值之和

二、正则化的初衷

设某个参数模型在训练样本上的经验损失函数为$J(f(\mathbf{\omega }))$，当模型的复杂度超过数据真实的特征空间时，会发生过拟合问题。解决过拟合问题的一种重要手段为正则化(regularize)，即通过限制$\mathbf{\omega }$的取值范围来简化模型，降低模型的复杂度。
通过在经验损失函数中加入$\mathbf{\omega }$限制函数的损失函数又被称为结构损失函数：$L(\mathbf{\omega },\lambda )=J(f(\mathbf{\omega }))+\Omega (\mathbf{\omega },\lambda )$

一种直观上的方法是减少$\mathbf{\omega }$的个数，即添加参数的0-范数约束，但考虑到其不能求导，所以常采用参数的1-范数约束或/和2-范数约束，在取得类似效果的同时，保证损失函数求导的便利性，这两种约束形式被分别称为L1正则化和L2正则化。
L1正则化的损失函数：$L(\mathbf{\omega },\lambda )=J(f(\mathbf{\omega }))+\lambda \sum _i|w_i|$
L2正则化的损失函数：$L(\mathbf{\omega },\lambda )=J(f(\mathbf{\omega }))+\lambda \sum _i{w}_i^2$
此外，还经常使用L1正则和L2正则的加权结果，即弹性网络：
$\alpha \sum _i|w_i|+\beta \sum _i{w}_i^2$

三、从带约束的优化问题角度理解正则化

为什么通过添加合理的参数约束函数，就可以达到简化模型的目的？
一种直观的解释（见下图）是：训练样本中存在各类噪声值，导致数据波动很大，如果单纯的降低经验损失，很容易让模型计入噪声信息，表现在参数上即参数数量的增加和参数值的增大。通过L1正则化和L2正则化等正则化方法，可以对过多的参数和过大的参数达到惩罚，从而在经验损失值和模型的复杂度得到折中，而较简单的模型往往泛化能力更好。

上面的解释从数学上来看，可以表示为带约束的优化问题:
$$\begin{gathered} minJ(f(\mathbf{\omega })) \\ s.t.\Omega (\mathbf{\omega }))<=C \end{gathered}$$
其中$C$取决于对参数惩罚的权重，惩罚越大，$C$越小。对于线性模型，可以将$C$进行归一化，并不影响最后模型的效果。

3.1 L1正则化的最优化问题

L1正则对应的优化问题为：
$$\begin{gathered} minJ(f(\mathbf{\omega })) \\ s.t.\sum |w_i|<=C \end{gathered}$$
当$J$为凸函数时，等效于求解如下的最优化问题：
$$minJ(f(\mathbf{\omega }))+\lambda (\sum |w_i|-C)$$
其中$\lambda >0$
其梯度为$\frac{\partial J}{\partial w_i}+\lambda sign(w_i)$，因此参数迭代公式为：$$w_i:=w_i-\mu (\frac{\partial J}{\partial w_i}+\lambda sign(w_i))$$
注意到当$w_i>0$时，$w_i$随着迭代值减小；而当$w_i<0$时，$w_i$随着迭代值增大。即参数趋向于0，意味着特征趋向于稀疏化。

从二维几何的角度来看（见下图），原型表示损失函数$J$的等值线，而四边形为L1正则项。通过限制参数$w_1,w_2$在四边形边和内部变动，最优解$w^{\ast }$更趋向于取四边形的顶点（即$sign{w}_i$的不可导处），从而导致某些参数取0。所以L1正则会是特征稀疏化，在一定程度上天然的有着特征选择（嵌入式）的功能。

3.2 L2正则化的最优化问题

L2正则对应的优化问题为：
$$\begin{gathered} minJ(f(\mathbf{\omega })) \\ s.t.\sum w_i^2<=C \end{gathered}$$
当$J$为凸函数时，等效于求解如下的最优化问题：
$$minJ(f(\mathbf{\omega }))+\lambda (\sum w_i^2-C)$$
其中$\lambda >0$
其梯度为$\frac{\partial J}{\partial w_i}+\lambda sign(w_i)$，因此参数迭代公式为：$$w_i:=w_i-\mu (\frac{\partial J}{\partial w_i}+2\lambda w_i)$$
可见参数在迭代过程中，由于考虑了L2正则化项$2\mu \lambda w_i$，所以下降速度更快。即L2正则化会使得参数更加光滑。
从二维几何的角度来看（见下图），原型表示损失函数$J$的等值线，而圆形为L2正则项。通过限制参数$w_1,w_2$在圆形边和内部变动，最优解$w^{\ast }$更趋向于正则化边界圆形处切线与损失函数$J$等值线切线同方向的区域，使得$w_1,w_2$取值更小、更均衡。

四、从最大后验概率角度理解正则化

对正则化的另一种理解来源于贝叶斯框架的参数最大后验概率，所谓的贝叶斯框架即“后验=先验+证据/数据”。在后面的朴素贝叶斯方法中会做详细介绍，这里做直接的使用。
在贝叶斯框架下，机器学习模型参数的后验概率可表示成:
$$P(\mathbf{\omega }|D)=\frac{P(\mathbf{\omega })P(D|\mathbf{\omega })}{P(D)}$$
其中$P(D)$为数据的固有属性（与参数无关的定值），可不考虑，即:
$$P(\mathbf{\omega }|D)\sim P(\mathbf{\omega })P(D|\mathbf{\omega })$$
其中$P(D|\mathbf{\omega })$反映了模型的能力，与模型切身相关（可参见线性回归(一)基础理论中的相关论述），而$P(\mathbf{\omega })$则是关于参数本身的先验概率，即对参数的某种约束。

4.1 L1正则化的贝叶斯视角

在L1正则中，先验假设参数符合拉普拉斯分布。
先简单介绍下拉普拉斯分布。如果随机变量的概率密度函数分布为:
$$f(x|\mu ,b)=\frac{1}{2b}exp(-\frac{|x-\mu |}{b})$$
则称为拉普拉斯分布。其中$\mu$为期望，$b$为振幅。

假设各参数独立，并满足Laplace(0,1)的先验概率，则参数的最大后验似然函数可表示成：
$$L(\mathbf{\omega }|D)=P(D|\mathbf{\omega })\prod P(w_i)=P(D|\mathbf{\omega })\prod _{i}ex{p}^{-|w_i|}$$
对应的对数似然函数为：
$$lnL(\mathbf{\omega }|D)=lnP(D|\mathbf{\omega })+\sum _i-|w_i|$$
右端第二项即为L1正则项。

4.2 L2正则化的贝叶斯视角

在L2正则中，先验假设参数符合高斯分布。
假设各参数独立，并满足标准正态分布$N(0,1)$的先验概率，则参数的最大后验似然函数可表示成：
$$L(\mathbf{\omega }|D)=P(D|\mathbf{\omega })\prod P(w_i)=P(D|\mathbf{\omega })\prod _{i}ex{p}^{-w_i^2}$$
对应的对数似然函数为：
$$lnL(\mathbf{\omega }|D)=lnP(D|\mathbf{\omega })+\sum _i{w}_i^2$$
右端第二项即为L2正则项。

五、总结

正则化通过在原始损失函数的基础上添加参数的约束函数，将参数估计朝零的方向进行约束、调整或缩小。通过正则化可以在学习过程中，有效降低模型复杂度和不稳定程度，从而避免过拟合的危险。