本文深入探讨了线性回归中的最小二乘法，包括其原理、代数和矩阵解法，以及几何解释。通过代数推导得出k和b的表达式，并用矩阵形式展示最小二乘法的目标函数。此外，还讨论了最小二乘法的局限性，如矩阵不可逆的情况和高维特征带来的计算挑战。
最小二乘法原理
目 标 函 数 = ∑ ( 观 测 值 − 理 论 值 ) 2 目标函数 =\sum (观测值-理论值)^2 目标函数=∑(观测值−理论值)2
n个只有一个特征的训练样本为 ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x n , y n ) (x_1,y_1),(x_2,y_2),\cdots ,(x_n,y_n) (x1,y1),(x2,y2),⋯,(xn,yn)
拟合函数 f k , b ( x ) = k x + b f_{k,b}(x)=kx+b fk,b(x)=kx+b
则目标函数 J ( k , b ) = ∑ i = 1 n ( f ( x i ) − y i ) 2 = ∑ i = 1 n ( k x i + b − y i ) 2 J(k,b)=\sum_{i=1}^{n}(f(x_i)-y_i)^2=\sum_{i=1}^{n}(kx_i+b-y_i)^2 J(k,b)=∑i=1n(f(xi)−yi)2=∑i=1n(kxi+b−yi)2
代数解法
以k为未知数整理 J ( k , b ) J(k,b) J(k,b)得到：
J ( k ) = ∑ i = 1 n ( k x i + b − y i ) 2 = ( ∑ i = 1 n x i 2 ) k 2 + 2 ( ∑ i = 1 n x i ( b − y i ) ) k + ∑ i = 1 n ( b − y i ) 2 J(k) = \sum_{i=1}^{n}(kx_i+b-y_i)^2 = (\sum_{i=1}^{n}x_i^2)k^2+2(\sum_{i=1}^{n}x_i(b-y_i))k+\sum_{i=1}^{n}(b-y_i)^2 J(k)=i=1∑n(kxi+b−yi)2=(i=1∑nxi2)k2+2(i=1∑nxi(b−yi))k+i=1∑n(b−yi)2
以b为未知数整理 J ( k , b ) J(k,b) J(k,b)得到：
J ( b ) = ∑ i = 1 n ( k x i + b − y i ) 2 = n b 2 + ( 2 ∑ i = 1 n ( k x i − y i ) ) b + ∑ i = 1 n ( k x i − y i ) 2 J(b) = \sum_{i=1}^{n}(kx_i+b-y_i)^2 = nb^2+(2\sum_{i=1}^{n}(kx_i-y_i))b+\sum_{i=1}^{n}(kx_i-y_i)^2 J(b)=i=1∑n(kxi+b−yi)2=nb2+(2i=1∑n(kxi−yi))b+i=1
最低0.47元/天 解锁文章
1466
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
