几种线性回归方法的简介

在给定一列数据$(x_1,y_1),...,(x_n,y_n)$时，如果认为它满足线性模型：
$$y=a+bx+ϵ$$
则可以用不同方法估计参数来拟合直线。

1. 最小二乘法（OLS）回归

最小二乘法是大家平时用的最多的拟合线性模型的方法，它使：
$$RSS(a,b)=\sum _{i=1}^n[y_i-(a+b{x}_i){]}^2$$
最小，这样得出的 a ^ , b ^ \hat{a}, \hat{b}