在我们研究两个变量(x, y)之间的相互关系时，通常可以得到一系列数据(x1, y1),(x2, y2)… (xn , yn)；将这些数据描绘在x -y直角坐标系中, 若发现这些点在一条直线附近，可以令这条直线方程如:
Y= b + a* X ，其中，a、b 是任意实数。
为建立这直线方程就要确定a和b，应用《最小二乘法原理》，计算误差的平方和为“优化判据”，误差的平方和：
ϵ
=
∑
(
y
−
y
i
)
2
\epsilon=\sum (y-y_i)^2
ϵ=∑(y−yi)2
找到使误差平方和最小的参数即得最优方程 ，这就是最小二乘法，即：
ϵ
=
∑
(
y
−
y
i
)
2
最
小
  
⟹
  
真
值
y
\epsilon=\sum (y-y_i)^2最小\implies 真值y
ϵ=∑(y−yi)2最小⟹真值y
用 ϵ 分别对a，b求偏导数，并令偏导数为0时，ϵ取最小值：
{
∂
∂
a
ϵ
=
2
∑
(
a
x
i
+
b
−
y
i
)
x
i
=
0
∂
∂
b
ϵ
=
2
∑
(
a
x
i
+
b
−
y
i
)
=
0
\begin{cases} \frac{\partial}{\partial a}\epsilon=2\sum (ax_i+b-y_i)x_i=0\\ \quad\\ \frac{\partial}{\partial b}\epsilon=2\sum (ax_i+b-y_i)=0\end{cases}
⎩⎪⎨⎪⎧∂a∂ϵ=2∑(axi+b−yi)xi=0∂b∂ϵ=2∑(axi+b−yi)=0
对于a,b 而言，上述方程组为线性方程组，解出a，b，即得最优拟合方程。
注：误差是长度，计算误差和要取绝对值，计算麻烦，用平方和来代表误差使得计算简单
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
