正则化为什么可以防止过拟合问题

---

前言

机器学习中，如果训练集太少，或者训练时间过长，则会出现过拟合现象。针对过拟合问题，我们有很多种解决方法：
1、降低module的复杂度；
2、增加更多数据集
3、早一点停止训练
4、重新清洗数据，把明显异常的数据剔除
5、正则化
6、…

方法1——方法4 根据字面意思便能理解原因。

---

一、什么是正则化？

正则化为什么可以防止过拟合问题，可能很多人连 “正则化” 不知道什么意思，因为正则化在很多地方都听过，比如：爬虫里面也有正则化。
所以我查了很多词典，对regularization的大多数解释是：规则化。
英语对regularization的解释是：

1. the condition of having been made regular (or more regular)
2. the act of bringing to uniformity; making regular

意思就是让一个原本是不规则的行为，如这里的多项式。

之所以过拟合，正是因为模型训练的太“好”了，导致我们的多项式维度很高，几乎每个数据都能用模型表示，从而导致出现的这种离实际情况相差很远的“不规则”行为，因此我们需要regular

二、模型表示

这里M=9代表红色多项式的阶数是9. 可以看出这个多项式是非常负责的

三、L1 regularization

我们在原始代价函数后面增加一个L1正则项。所有参数w的绝对值的和，除以训练集的样本大小n。λ就是正则项系数，权衡正则项与C0项的比重。

同时计算导数：

上式中sgn(w)表示w的符号。那么权重w的更新规则为：

比原始的更新规则多出了η * λ * sgn(w)/n这一项。当w为正时，更新后的w变小。当w为负时，更新后的w变大——因此它的效果就是让w往0靠，使网络中的权重尽可能为0，也就相当于减小了网络复杂度，防止过拟合。

另外，上面没有提到一个问题，当w为0时怎么办？当w等于0时，|W|是不可导的，所以我们只能按照原始的未经正则化的方法去更新w，这就相当于去掉ηλsgn(w)/n这一项，所以我们可以规定sgn(0)=0，这样就把w=0的情况也统一进来了。（在编程的时候，令sgn(0)=0,sgn(w>0)=1,sgn(w<0)=-1）

四、L2 regularization

L2正则化就是在代价函数后面再加上一个正则化项：

C0代表原始的代价函数，后面那一项就是L2正则化项，它是这样来的：所有参数w的平方的和，除以训练集的样本大小n。λ就是正则项系数，权衡正则项与C0项的比重。另外还有一个系数1/2，1/2经常会看到，主要是为了后面求导的结果方便，后面那一项求导会产生一个2，与1/2相乘刚好凑整。

L2正则化项是怎么避免overfitting的呢？我们推导一下看看，先求导：

可以发现L2正则化项对b的更新没有影响，但是对于w的更新有影响:

在不使用L2正则化时，求导结果中w前系数为1，现在w前面系数为 1−ηλ/n ，因为η、λ、n都是正的，所以 1−ηλ/n小于1，它的效果是减小w，这也就是权重衰减（weight decay）的由来。当然考虑到后面的导数项，w最终的值可能增大也可能减小。

另外，需要提一下，对于基于mini-batch的随机梯度下降，w和b更新的公式跟上面给出的有点不同：

对比上面w的更新公式，可以发现后面那一项变了，变成所有导数加和，乘以η再除以m，m是一个mini-batch中样本的个数。

到目前为止，我们只是解释了L2正则化项有让w“变小”的效果，但是还没解释为什么w“变小”可以防止overfitting？一个所谓“显而易见”的解释就是：更小的权值w，从某种意义上说，表示网络的复杂度更低，对数据的拟合刚刚好（这个法则也叫做奥卡姆剃刀），而在实际应用中，也验证了这一点，L2正则化的效果往往好于未经正则化的效果。当然，对于很多人（包括我）来说，这个解释似乎不那么显而易见，所以这里添加一个稍微数学一点的解释（引自知乎）：

过拟合的时候，拟合函数的系数往往非常大，为什么？如下图所示，过拟合，就是拟合函数需要顾忌每一个点，最终形成的拟合函数波动很大。在某些很小的区间里，函数值的变化很剧烈。这就意味着函数在某些小区间里的导数值（绝对值）非常大，由于自变量值可大可小，所以只有系数足够大，才能保证导数值很大。

而正则化是通过约束参数的范数使其不要太大，所以可以在一定程度上减少过拟合情况。

五、总结

正则化可以改善过拟合的主要原因是：减小了模型的系数，从而使模型的波动减少，进而没有缓解过拟合。

参考：https://www.cnblogs.com/alexanderkun/p/6922428.html