scikit-learn 普通最小二乘法

什么是普通最小二乘法？

线性回归模型的数学表达式如下：

$$\hat{y}(w,x)=w_0+w_1{x}_1+\dots +w_p{x}_1$$

其中 $w_0,w_1,...,w_p$ 为模型参数, $x_1,x_2,...,x_p$ 为特征（feature）也称自变量。

最小二乘法就是找到一组最佳参数 ${\hat{w}}_0,{\hat{w}}_1...,{\hat{w}}_p$ 使得真实的 $\mathbf{y}$ 和我们通过参数 $\text{w}$ 及特征 $\text{x}$ 计算的 $\hat{\mathbf{y}}$ 的欧式距离最小。

其实也就是求解下面的优化问题：

$$\underset{w}{\min }\Vert Xw-y{\Vert }_2^2$$

至于优化问题的求解方式，有很多种，我们先用 sklearn 帮我们解决。

以下为 scikit-learn 官方文档示例：

# 从 sklearn 中引入线性模型模块
from sklearn import linear_model
# 建立线性回归对象 reg
reg = linear_model.LinearRegression()
# 通过建立的对象拟合数据 x 为 [[0, 0], [1, 1], [2, 2]], y 为 [0, 1, 2] 
reg.fit([[0, 0], [1, 1], [2, 2]], [0, 1, 2])
# 拟合的参数系数如下 y = 1.1102230246251565e-16 + 0.5x1 + 0.5x2
print(reg.coef_)
print(reg.intercept_)

参考文献

https://scikit-learn.org/stable/modules/linear_model.html