是什么
减小相关性较弱的特征参与度从而避免overfitting
如何实现
添加惩罚项,当我们要实现一个target,会使得损失函数最小化,而在损失函数中添加一项,这一项包括相关性较弱的特征的系数和一个较大的数相乘(实际并不是这样,这样解释比较好懂)。这样在使损失函数最小化时就不得不将相关性较弱的特征系数减小,不然和其相乘的较大数值就会使得损失函数很大。
例子以及真实含义:
下面是logistic回归的损失函数,
这一项就是正则项,这里这个平方项,保证正则项是正的,不然引入正则的意义就没有了(最小化损失函数,变成负的自然就小了,没办法学习了)。
可以看到,实际上,正则是将所有的特征系数都进行了惩罚,那么这样如何判断哪些特征相关性强,哪些特征相关性弱呢?实际上这里做了一个求和的操作,也就是将所有的系数都加在了一起,那么使其和最小不可能是单一的一个系数变小,或者说使其最小化一定是这些参数有一个最优的权重分配,与前面的平方差损失结合,就可以实现将相关性弱的特征学习权重降低。从而也就实现了在不减少特征的情况下避免overfitting。