本文介绍了如何通过最小二乘法求解一元线性回归问题，包括代数求解方法和使用Python的scipy.optimize.leastsq、sklearn.linear_model.LinearRegression库进行求解。详细探讨了最小二乘法的数学原理，并提供了Python代码示例。
1 最小二乘法及代数求解
最小二乘法中的「二乘」代表平方，最小二乘也就是最小平方。
例如，使用最小二乘法求解平方损失函数最小值，推导如下：
首先，平方损失函数为：
f = ∑ i = 1 n ( y i − ( w 0 + w 1 x i ) ) 2 f = \sum\limits_{i = 1}^n {
{
{(y_{i}-(w_0 + w_1x_{i}))}}^2} f=i=1∑n(yi−(w0+w1xi))2
求取平方损失函数𝑚𝑖𝑛(𝑓) 最小时，对应的 𝑤。首先求 𝑓 的 1 阶偏导数：
∂ f ∂ w 0 = − 2 ( ∑ i = 1 n y i − n w 0 − w 1 ∑ i = 1 n x i ) \frac{\partial f}{\partial w_{0}}=-2(\sum_{i=1}^{n}{y_i}-nw_{0}-w_{1}\sum_{i=1}^{n}{x_i}) ∂w0∂f=−2(i=1∑nyi−nw0−w1
最低0.47元/天 解锁文章
1779
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
