引入
假设一平面直角坐标系上有许多散落的点,要求找到一条直线
l
:
y
=
k
x
+
b
l:y = kx + b
l:y=kx+b,使得
l
l
l 能尽可能地拟合这些点。
损失函数
以损失函数为评判标准,判断哪条直线更优。损失函数本质上是残差平方和,也称欧式距离。
最小二乘估计
利用最小二乘估计计算
k
、
b
k、b
k、b。根据损失函数倒推最佳的
k
k
k。若将
k
k
k 视为自变量,则损失是
k
k
k 的二次函数。易知,导数为
0
0
0 时损失最小。固求得
k
k
k。
参考链接:
https://zhuanlan.zhihu.com/p/72513104