最小二乘法（Least Squares Method）是一种用于寻找最佳拟合数据集的线性模型的方法。它通过最小化观测值与模型预测值之间的误差平方和来找到最优参数。以下是针对简单线性回归模型 y = w x + b y=wx+b y=wx+b 的最小二乘法推导过程。
该方法常用来进行直线的拟合，以下以该应用来说明：
样本数据为： ( x 1 , y 1 ) ( x 2 , y 2 ) . . . ( x n , y n ) (x_1,y_1)(x_2,y_2)...(x_n,y_n) (x1,y1)(x2,y2)...(xn,yn)
* 最小化残差平方和（Residual Sum of Squares, RSS）来估计回归系数: L = ∑ i = 1 n ( y i − w x i − b ) 2 \mathcal{L}=\sum_{i=1}^n(y_i-wx_i-b)^2 L=∑i=1n(yi−wxi−b)2
* 分别对 w w w与 b b b 进行一阶求偏导过程如下:
∂ L ∂ w = ∑ i = 1 n − 2 x i ( y i − b − w x i ) = − 2 ∑ i = 1 n x i ( y i − b − w x i ) = − 2 ( ∑ i = 1 n x i y i − ∑ i = 1 n b x i − ∑ i = 1 n w x i 2 ) = − 2 ( ∑ i = 1 n x i y i − n b x ˉ − w ∑ i = 1 n x i 2 ) ∂ L ∂ b = ∑ i = 1 n − 2 ( y i − b − w x i ) = − 2 ∑ i = 1 n − 2 ( y i − b − w x i ) = − 2 ( ∑ i = 1 n y i − ∑ i = 1 n b − ∑ i = 1 n w x i ) = − 2 ( n y ˉ − n b − n w x ˉ ) = − 2 ( y ˉ − b − w x ˉ ) \frac{\partial\mathcal{L}}{\partial\mathcal{w}}=\sum_{i=1}^n-2x_i(y_i-b-wx_i) \\ =-2\sum_{i=1}^nx_i(y_i-b-wx_i) \\ =-2(\sum_{i=1}^nx_iy_i-\sum_{i=1}^nbx_i-\sum_{i=1}^nwx_i^2) \\ =-2(\sum_{i=1}^nx_iy_i-nb\bar{x}-w\sum_{i=1}^nx_i^2) \\ \frac{\partial\mathcal{L}}{\partial\mathcal{b}}=\sum_{i=1}^n-2(y_i-b-wx_i) \\ =-2\sum_{i=1}^n-2(y_i-b-wx_i) \\ =-2(\sum_{i=1}^ny_i-\sum_{i=1}^nb-\sum_{i=1}^nwx_i) \\ =-2(n\bar{y}-nb-nw\bar{x}) \\ =-2(\bar{y}-b-w\bar{x}) ∂w∂L=i=1∑n−2xi(yi−b−wxi)=−2i=1∑nxi(yi−b−wxi)=−2(i=1∑nxiyi−i=1∑nbxi−
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
