机器学习之 L1正则化（Lasso回归）（六）

主要参考：https://www.cnblogs.com/pinard/p/6018889.html

这个主要接上一篇的。都用矩阵法表示。

1. 回顾线性回归

线性回归的一般形式：

　需要极小化的损失函数是：
　
　　如果用梯度下降法求解，则每一轮θ迭代的表达式是：
　　
　　　如果用最小二乘法，则θ的结果是：
　　　

2.回顾Ridge回归

直接套用线性回归可能产生过拟合.
我们需要加入正则化项，如果加入的是L2正则化项，就是Ridge回归，有时也翻译为脊回归。它和一般线性回归的区别是在损失函数上增加了一个L2正则化的项，和一个调节线性回归项和正则化项权重的系数α。
损失函数表达式如下：

如果采用梯度下降法，则每一轮θ迭代的表达式是：

　如果用最小二乘法，则θ的结果是：
　
L2回归（Ridge回归）的特点就是在不抛弃任何一个变量的情况下，缩小了回归系数，使得模型相对而言比较的稳定，但这会使得模型的变量特别多，模型解释性差。

L1回归（Lasso回归）可以使得一些特征的系数变小，甚至还是一些绝对值较小的系数直接变为0。增强模型的泛化能力。

所以相比于L2回归（Ridge回归），L1回归（Lasso回归）即又可以防止过拟合，同时克服Ridge回归模型变量多的缺点。