正则化

一、岭回归正则化（L2正则化用于线性回归模型就叫岭回归正则化）
正则化的引入：正则的主要目的就是使得求出损失函数最小值对应的w更小。
公式推理：

使用条件：

二、L1正则化（L1正则化用于线性回归模型就叫Lasso回归正则化）
公式推理：

三、L1正则化与L2正则化区别
（1）L1正则化中w每次都会减小一个固定值，一定的迭代次数之后会减小到0；L2正则化每次都会减小w的一个比例，无论迭代多少次都不会减小到0。
（2）L1正则化是按照固定的数值压缩，系数比较小压缩后可能变为0，系数比较大，压缩效果不是很好。
（3）L2正则化是按照比例压缩的，系数越大压缩的越大，系数比较小压缩后变化不大。
四、实际运用
（1）L1正则化会使很多特征的w变为0，此时这些特征被认为是无用的特征，可以用于对训练集进行特征选择，将w变为0的特征删除再做其他的运算。
（2）L1正则化中w变为0的特征在无正则化或者L2正则化中w值会比较大，也就是说L1正则化运算出的w并不准确，实际运用中经常选择L2正则化。