数学建模学习：岭回归和lasso回归

线性回归

在多元线性回归模型中，估计回归系数使用的是OLS，并在最后讨论异方差和多重共线性对模型的影响。事实上，回归中自变量的选择大有门道，变量过多可能会导致多重共线性问题导致回归系数不显著，甚至造成OLS估计失效。

岭回归和lasso回归在OLS回归模型的损失函数上加上了不同的惩罚项，该惩罚项由回归系数的函数组成，一方面，加入的惩罚项能够识别出模型中不重要的变量，对模型起到简化作用，可以看作逐步回归法的升级版，另一方面，加入的惩罚项让模型变得可估计，即使原数据矩阵不满足列满秩。

线性回归模型

在标准线性回归中，通过最小化真实值($y_i$)和预测值(${\hat{y}}_i$)的平方误差来训练模型，这个平方误差值也被称为残差平方和(RSS, Residual Sum Of Squares):
$$RSS=\sum _{i=1}^n{\left(y_i-{\hat{y}}_i\right)}^2$$
最小二乘法即最小残差平方和，为：
$$J_{\beta }(\beta )=\underset{\beta }{\mathrm{argmin}}\sum _{i=1}^p{\left(y_i-x_i{\beta }_i-{\beta }_0\right)}^2$$
将其化为矩阵形式：
$$J_{\beta }(\beta )=\underset{\beta }{\mathrm{argmin}}(Y-X\beta {)}^{}$$