![17ac2c0c3eda910aeb78dc088cad4200.png](https://i-blog.csdnimg.cn/blog_migrate/1898dcaa5495de22c257c578d39d1058.jpeg)
今天聊最小二乘法的实现。
都知道线性回归模型要求解权重向量w,最传统的做法就是使用最小二乘法。
根据在scikit-learn的文档,模型sklearn.linear_model.LinearRegression,使用的就是最小二乘法(least squares ):
![bfb1a4ee749b10d0d4594e5b5f6b3b1a.png](https://i-blog.csdnimg.cn/blog_migrate/a36f95367cc806939a06022f02641115.jpeg)
可是,最小二乘法在哪实现呢?
光看Api肯定是看不出来的,要深入到源码中去。不过,要找最小二乘法,首先我们得要知道她长什么样。
这个问题有点复杂。准确来说,最小二乘法是一种解法,用来求当均方误差最小时,权重向量w的闭式解。不过好在,我们知道闭式解长这样:
![18a59ee78387de939f7f7c1707de42ed.png](https://i-blog.csdnimg.cn/blog_migrate/b9b43ee8a190a4fc0cbb28c9f11df74e.png)