-
L1正则化可以产生稀疏权值矩阵,即产生一个稀疏模型,可以用于特征选择
-
L2正则化可以防止模型过拟合(overfitting);一定程度上,L1也可以防止过拟合
具体参考:https://blog.csdn.net/jinping_shi/article/details/52433975
- L1是w绝对值加和,L2是w平方加和。
- L1的有趣的现象是会使得w有的接近于0,有的接近于1,L1更多的会用在降维上面,因为有的是0有的是1,我们也称之为稀疏编码。
- L2是更常用的正则化手段,它会使得w整体变小。
超参数alpha 在Rideg类里面就直接是L2正则的权重。
超参数alpha 在Lasso类里面就直接是L1正则的权重。
模型参数W个数,越少越好,无招胜有招。
模型参数W的值越小越好,这样如果X输入有误差,也不会太影响y预测结果。
使用惩罚项,会提高模型的泛化能力,但是因为人为的改变了损失函数,所以在一定程度上牺牲了正确率。
在惩罚项里面,会有个alpha,即惩罚项的权重,我们可以通过调整alpha超参数,根据需求来决定
是更看重模型的正确率还是模型的泛化能力!