机器学习--岭回归和Lasso回归（4）

任何数据都存在噪声和多重共线性
如何解决多重共线性 ？
1.算法角度（正则化）
2.数据角度（最有效果）

岭回归与Lasso回归的出现是为了解决线性回归出现的过拟合（数据间高度线性相关）以及在通过正规方程方法求解θ的过程中出现的x转置乘以x不可逆这两类问题的，这两种回归均通过在损失函数中引入正则化项来达到目的，具体三者的损失函数对比见下图：

其中λ称为正则化参数，如果λ选取过大，会把所有参数θ均最小化，造成欠拟合，如果λ选取过小，会导致对过拟合问题解决不当，因此λ的选取是一个技术活。

岭回归与Lasso回归最大的区别在于岭回归引入的是L2范数惩罚项，Lasso回归引入的是L1范数惩罚项，Lasso回归能够使得损失函数中的许多θ均变成0，这点要优于岭回归，因为岭回归是要所有的θ均存在的，这样计算量Lasso回归将远远小于岭回归。

一、岭回归

1.1 回归系数计算公式：

其中λ为正则系数，I为单位矩阵。

1.2 优点

缩减方法可以去掉不重要的参数，因此能更好地理解数据。此外，与简单的线性回归相比