正则化学习笔记

正则化

正则化是一个通用的算法思想，所有会产生过拟合的算法都可以使用正则化来减少过拟合，在经验风险最小化的基础上尽可能的采用简单的模型，可以有效的提高泛化能力，预测精度。当模型的复杂度非常高的时候变量值的微小变化，会引起预测值大幅度波动，正则化湿通过降低特征的权重来时的模型更简单，

L1正则化

lasso回归为模型添加一个这样的先验知识w服从零均值的拉普拉斯分布

L2正则化

Ridge回归乡党委为模型添加这样一个先验只是w服从零均值正态分布

L1与L2的区别

L1正则化增加了所有权重w参数的绝对值之和逼迫更多w为零，减小无用特征对结果的预测
L2正则化中增加所有w参数的平方和逼迫w尽可能的趋向零但不为零