最小二乘法
拟合变量x和y之间的线性方程： y = b 0 + b 1 ∗ x y=b_0+b_1*x y=b0+b1∗x.
我们将其形式写作
[
1
x
1
1
x
2
.
.
.
.
.
.
1
x
n
]
[
b
0
b
1
]
=
[
y
1
y
2
.
.
.
y
n
]
\begin{bmatrix}1 & x_1 \\ 1 & x_2\\ ...& ...\\1&x_n\\ \end{bmatrix} \begin{bmatrix}b_0 \\ b_1\\ \end{bmatrix} = \begin{bmatrix}y_1 \\ y_2 \\ ...\\y_n\\ \end{bmatrix}
⎣⎢⎢⎡11...1x1x2...xn⎦⎥⎥⎤[b0b1]=⎣⎢⎢⎡y1y2...yn⎦⎥⎥⎤
也可以写作成：
X
B
=
y
XB=y
XB=y
我们要计算最优解，也就是把实际解
y
y
y向方程上进行投影的解
y
^
\hat{y}
y^，我们知道
y
−
y
^
y-\hat{y}
y−y^是垂直于
y
^
\hat{y}
y^的。（想象用一束阳光对一个斜着的木棒向平面进行投影，投下来的影子一定垂直于这束阳光的光路。）
所以，我们有以下结论：
X
T
(
X
B
−
y
^
)
=
0
X^T(XB-\hat{y})=0
XT(XB−y^)=0
经过化简得：
B
=
(
X
T
X
)
−
1
X
T
y
^
B=(X^TX)^{-1}X^T\hat{y}
B=(XTX)−1XTy^
将
X
,
y
X,y
X,y直接代入上式，即可求出对应的参数
B
B
B。
一个最小二乘法的例子。
6387
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
