个人笔记，非教程
X
:
D
×
N
X:D\times N
X:D×N
Y
:
d
×
N
Y:d\times N
Y:d×N
W
:
D
×
d
W:D\times d
W:D×d
最小化均方误差
min
(
W
T
X
−
Y
)
2
\min (W^TX-Y)^2
min(WTX−Y)2
min
(
W
T
X
−
Y
)
(
W
T
X
−
Y
)
T
\min (W^TX-Y)(W^TX-Y)^T
min(WTX−Y)(WTX−Y)T
L
=
(
W
T
X
−
Y
)
(
W
T
X
−
Y
)
T
=
W
T
X
X
T
W
−
W
T
X
Y
T
−
Y
X
T
W
+
Y
Y
T
\begin{aligned} L&=(W^TX-Y)(W^TX-Y)^T \\ &=W^TXX^TW-W^TXY^T-YX^TW+YY^T \end{aligned}
L=(WTX−Y)(WTX−Y)T=WTXXTW−WTXYT−YXTW+YYT
∂
L
∂
W
=
2
X
X
T
W
−
X
Y
T
−
X
Y
T
=
2
X
X
T
W
−
2
X
Y
T
\frac{\partial L}{\partial W}=2XX^TW-XY^T-XY^T=2XX^TW-2XY^T
∂W∂L=2XXTW−XYT−XYT=2XXTW−2XYT
令 ∂ L ∂ W = 0 \frac{\partial L}{\partial W}=0 ∂W∂L=0
X
X
T
W
=
X
Y
T
XX^TW=XY^T
XXTW=XYT
W
=
(
X
X
T
)
−
1
X
Y
T
W=(XX^T)^{-1}XY^T
W=(XXT)−1XYT
p r e d i c t = W T X predict=W^TX predict=WTX
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
