岭回归详解 从零开始 从理论到实践

一、岭回归的理解

1.1、LinearRegression的回顾

在标准线性回归中，通过最小化真实值($y_i$)和预测值(${\hat{y}}_i$)的平方误差来训练模型，这个平方误差值也被称为残差平方和(RSS, Residual Sum Of Squares):
$$RSS=\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2$$
最小二乘法即最小化残差平方和，为：
$$J_{\beta }(\beta )=\underset{\beta }{\mathrm{argmin}}\sum _{i=1}^p(y_i-x_i{\beta }_i-{\beta }_0{)}^2$$

将其化为矩阵形式：
$$\begin{array}{r}{J}_{\beta }(\beta )=\underset{\beta }{\mathrm{argmin}}(y-X\beta {)}^T(y-X\beta )\end{array}$$
求解为：
β = ( X T X )