L1正则化和L2正则化

前言

在机器学习中存在过拟合的现象，而防止过拟合目前最常用的方法是正则化，即在cost Function中添加正则项

下面是p-范数的表达式：

首先，从正则化的目的角度：正则化是为了防止过拟合

过拟合即学习模型在训练集样本中表现的过于优越，以至于学习模型在测试集中表现效果很差。

正则化项L1和L2

概括

L1和L2正则化项，又称为L1范数L2范数，L1，L2正则化项都可以看做是损失函数的罚项值，是为了限制模型的参数，防止模型过拟合而加在损失函数后面的一项。

区别

（1）L1是模型各参数的绝对值之和。

           L2是模型各参数的平方和的开放值

（2）L1趋向于产生少量的特征，而其他的特征都是0。因为最优的参数值很大概率出现在坐标轴上，这样就会导致某一维的权重为  0 ，产生稀疏权重矩阵

          L2会选择更多的特征，这些特征都会接近于0.最优的参数值很小概率出现在坐标轴上，因此每一维的参数都不会是0。当最小化||w||时，就会使每一项趋近于0

L1正则化和特征选择

有如下带有L1正则项的损失函数：

其中J0是原始损失函数，加号后面一项是L1正则化项，α是正则化系数。这里L1正则化是权值的绝对值之和。

机器学习的任务就是通过一些方法（例如梯度下降）来找出损失函数的最小值。当我们在原始损失函数J0后添加L1正则化项时，相当于对J0做了一个约束。令L=α∑|w|，则J=J0+L，此时我们的任务变成在L约束下求出J0取最小值的解。

假如我们现在只考虑二维的情况，即只有两个权值w1和w2，此时L=|w1|+|w2|对于梯度下降法，求解J0的过程可以画出等值线，也可以在w1 w2的二维平面上画出来

图中等值线是J0的等值线，黑色方形是L函数的图形。在图中，当J0等值线与L图形首次相交的地方就是最优解。上图中J0与L在L的一个顶点处相交，这个顶点就是最优解。注意到这个顶点的值是(w1,w2)=(0,w)(w1,w2)=(0,w)。可以直观想象，因为L函数有很多『突出的角』（二维情况下四个，多维情况下更多），J0与这些角接触的机率会远大于与L其它部位接触的机率，而在这些角上，会有很多权值等于0，这就是为什么L1正则化可以产生稀疏模型，进而可以用于特征选择。

而正则化前面的系数α，可以控制L图形的大小。α越小，L的图形越大（上图中的黑色方框）；α越大，L的图形就越小，可以小到黑色方框只超出原点范围一点点，这是最优点的值(w1,w2)=(0,w)(w1,w2)=(0,w)中的w可以取到很小的值。

类似的假如有如下带有L2正则化的损失函数：

二维平面下L2正则化的函数图形是个圆，与方形相比，被磨去了棱角。因此J0与L相交时使得w1或w2等于零的机率小了许多，这就是为什么L2正则化不具有稀疏性的原因。

相关链接

https://blog.csdn.net/fisherming/article/details/79492602

https://blog.csdn.net/jinping_shi/article/details/52433975

https://zhuanlan.zhihu.com/p/35356992