个人笔记，非教程
最小二乘
W
=
(
X
X
T
)
−
1
X
Y
T
W=(XX^T)^{-1}XY^T
W=(XXT)−1XYT
岭回归
W = ( X X T + λ I ) − 1 X Y T W=(XX^T+\lambda I)^{-1}XY^T W=(XXT+λI)−1XYT
核岭回归
W
=
(
X
X
T
+
λ
I
)
−
1
X
Y
T
W=(XX^T+\lambda I)^{-1}XY^T
W=(XXT+λI)−1XYT
W
=
(
κ
(
X
,
X
)
+
λ
I
)
−
1
X
Y
T
=
X
(
λ
I
+
κ
(
X
,
X
)
)
−
1
Y
T
W=(\kappa(X,X)+\lambda I)^{-1}XY^T=X(\lambda I+\kappa(X,X))^{-1}Y^T
W=(κ(X,X)+λI)−1XYT=X(λI+κ(X,X))−1YT
预测
令
α
=
(
λ
I
+
κ
(
X
,
X
)
)
−
1
Y
T
\alpha=(\lambda I+\kappa(X,X))^{-1}Y^T
α=(λI+κ(X,X))−1YT
即
W
=
X
α
W=X\alpha
W=Xα
Y
p
r
e
d
i
c
t
=
W
T
x
∗
=
α
κ
(
x
∗
,
X
)
=
∑
i
=
1
N
α
i
κ
(
x
∗
,
x
i
)
Y_{predict}=W^Tx^*=\alpha \kappa(x^*,X)=\sum_{i=1}^N\alpha_i\kappa(x^*,x_i)
Ypredict=WTx∗=ακ(x∗,X)=i=1∑Nαiκ(x∗,xi)
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
