机器学习-白板推导 P3_1
最小二乘法角度
D
=
{
(
x
1
,
y
1
)
,
(
x
2
,
y
2
)
.
.
.
(
x
N
,
y
N
)
}
D=\lbrace(x_1,y_1) ,(x_2,y_2) ...(x_N,y_N) \rbrace
D={(x1,y1),(x2,y2)...(xN,yN)}
x
i
∈
R
p
,
y
i
∈
R
,
i
=
1
,
2...
N
x_i \in R^p, y_i \in R, i=1,2...N
xi∈Rp,yi∈R,i=1,2...N
X
=
[
x
1
x
2
.
.
.
x
N
]
T
=
[
x
1
T
x
2
T
⋮
x
N
T
]
=
[
x
11
x
12
.
.
.
x
1
p
x
21
x
22
.
.
.
x
2
p
⋮
⋮
⋱
⋮
x
N
1
x
N
2
.
.
.
x
N
p
]
N
∗
p
Y
=
[
y
1
y
2
⋮
y
N
]
N
∗
1
X=\begin{bmatrix} x_1 & x_2 &...& x_N \end{bmatrix}^T=\begin{bmatrix} x_1^T \\ x_2^T \\\vdots\\ x_N^T \end{bmatrix} = \begin{bmatrix} x_{11} & x_{12} &...& x_{1p} \\ x_{21} & x_{22} &...& x_{2p} \\ \vdots & \vdots & \ddots & \vdots \\ x_{N1} & x_{N2} &...& x_{Np} \\ \end{bmatrix}_{N*p}\qquad Y=\begin{bmatrix} y_1 \\ y_2 \\ \vdots \\ y_N \end{bmatrix}_{N*1}
X=[x1x2...xN]T=⎣⎢⎢⎢⎡x1Tx2T⋮xNT⎦⎥⎥⎥⎤=⎣⎢⎢⎢⎡x11x21⋮xN1x12x22⋮xN2......⋱...x1px2p⋮xNp⎦⎥⎥⎥⎤N∗pY=⎣⎢⎢⎢⎡y1y2⋮yN⎦⎥⎥⎥⎤N∗1
最小二乘估计:
L
(
w
)
=
∑
i
=
1
N
∣
∣
w
T
x
i
−
y
i
∣
∣
2
=
∑
i
=
1
N
(
w
T
x
i
−
y
i
)
2
=
(
W
T
X
T
−
Y
T
)
(
W
T
X
T
−
Y
T
)
T
=
(
W
T
X
T
−
Y
T
)
(
X
W
−
Y
)
=
W
T
X
T
X
W
−
W
T
X
T
Y
−
Y
T
X
W
+
Y
T
Y
=
W
T
X
T
X
W
−
2
W
T
X
T
Y
+
Y
T
Y
\begin{aligned} L(w)&=\sum_{i=1}^N||w^Tx_i-y_i||^2 = \sum_{i=1}^N(w^Tx_i-y_i)^2 \\ &= (W^TX^T-Y^T)(W^TX^T-Y^T)^T \\ &= (W^TX^T-Y^T)(XW-Y) \\ &=W^TX^TXW-W^TX^TY-Y^TXW+Y^TY\\ &=W^TX^TXW-2W^TX^TY+Y^TY \end{aligned}
L(w)=i=1∑N∣∣wTxi−yi∣∣2=i=1∑N(wTxi−yi)2=(WTXT−YT)(WTXT−YT)T=(WTXT−YT)(XW−Y)=WTXTXW−WTXTY−YTXW+YTY=WTXTXW−2WTXTY+YTY
目标：
w
^
=
a
r
g
min
L
(
w
)
\hat{w}=arg \min L(w)
w^=argminL(w)
∂ L ( w ) ∂ w = 2 X T X W − 2 X T Y = 0 \frac{\partial L(w)}{\partial w}=2X^TXW-2X^TY=0 ∂w∂L(w)=2XTXW−2XTY=0
X T X W = X T Y X^TXW=X^TY XTXW=XTY
W = ( X T X ) − 1 X T Y W=(X^TX)^{-1}X^TY W=(XTX)−1XTY
空间解释：
寻找
Y
Y
Y在
X
X
X的
p
p
p维空间上的投影。
法向量量为
Y
−
X
β
Y-X\beta
Y−Xβ
X
T
(
Y
−
X
β
)
=
0
X^T(Y-X\beta)=0
XT(Y−Xβ)=0
X
T
Y
=
X
T
X
β
X^TY=X^TX\beta
XTY=XTXβ
β
=
(
X
T
X
)
−
1
X
T
Y
\beta=(X^TX)^{-1}X^TY
β=(XTX)−1XTY
B站链接：
https://www.bilibili.com/video/av31989606?from=search&seid=8309397892501615322
192
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
