正则化解决overfitting

是什么

减小相关性较弱的特征参与度从而避免overfitting

如何实现

添加惩罚项，当我们要实现一个target，会使得损失函数最小化，而在损失函数中添加一项，这一项包括相关性较弱的特征的系数和一个较大的数相乘（实际并不是这样，这样解释比较好懂）。这样在使损失函数最小化时就不得不将相关性较弱的特征系数减小，不然和其相乘的较大数值就会使得损失函数很大。

例子以及真实含义：

下面是logistic回归的损失函数，

这一项就是正则项，这里这个平方项，保证正则项是正的，不然引入正则的意义就没有了（最小化损失函数，变成负的自然就小了，没办法学习了）。

可以看到，实际上，正则是将所有的特征系数都进行了惩罚，那么这样如何判断哪些特征相关性强，哪些特征相关性弱呢？实际上这里做了一个求和的操作，也就是将所有的系数都加在了一起，那么使其和最小不可能是单一的一个系数变小，或者说使其最小化一定是这些参数有一个最优的权重分配，与前面的平方差损失结合，就可以实现将相关性弱的特征学习权重降低。从而也就实现了在不减少特征的情况下避免overfitting。