线性回归linear regression
局部加权线性回归local weighted linear regression
线性回归
用普通最小二乘法Ordinary Least Square即通过最小化误差的平方和寻找数据的最佳函数匹配
∑
i
=
1
m
(
y
−
x
i
T
w
)
2
\sum_{i=1}^{m}(y-x_i^Tw)^2
i=1∑m(y−xiTw)2
用矩阵表示:
(
y
−
X
w
)
T
(
y
−
X
w
)
(y-Xw)^T(y-Xw)
(y−Xw)T(y−Xw)
对这个式子求导，令其等于0，解出
w
w
w即为最优解。
结论为
w
^
=
(
X
T
X
)
−
1
X
T
y
,
w
^
表
示
w
的
一
个
最
佳
估
计
\hat{w}=(X^TX)^{-1}X^Ty,\hat{w}表示w的一个最佳估计
w^=(XTX)−1XTy,w^表示w的一个最佳估计
X
:
n
×
p
X:n\times p
X:n×p
y
:
n
×
1
y :n\times 1
y:n×1
w
:
p
×
1
w:p\times 1
w:p×1
推导过程：
(
y
−
X
w
)
T
(
y
−
X
w
)
=
(
y
T
−
w
T
X
T
)
(
y
−
X
w
)
=
(
y
T
y
−
y
T
X
w
−
w
T
X
T
y
+
w
T
X
T
X
w
)
\begin{aligned} (y-Xw)^T(y-Xw) &=(y^T-w^TX^T)(y-Xw) \\ &=(y^Ty-y^TXw-w^TX^Ty+w^TX^TXw) \\ \end{aligned}
(y−Xw)T(y−Xw)=(yT−wTXT)(y−Xw)=(yTy−yTXw−wTXTy+wTXTXw)
分别求导：
∂
(
y
T
y
)
∂
w
=
0
\frac {\partial( y^Ty)}{\partial w}=0
∂w∂(yTy)=0
∂
(
y
T
X
w
)
∂
w
=
(
y
T
X
)
T
=
X
T
y
，
分
母
布
局
\begin{aligned} \frac {\partial( y^TXw)}{\partial w} &=(y^TX)^T\\ &=X^Ty，分母布局 \end{aligned}
∂w∂(yTXw)=(yTX)T=XTy，分母布局
∂
(
w
T
X
T
y
)
∂
w
=
∂
(
w
T
X
T
y
)
T
∂
w
，
标
量
转
置
不
变
=
∂
(
y
T
X
w
)
∂
w
=
(
y
T
X
)
T
，
转
置
，
分
母
布
局
=
X
T
y
\begin{aligned} \frac {\partial(w^TX^Ty)}{\partial w}&=\frac {\partial(w^TX^Ty)^T}{\partial w} ，标量转置不变\\ &=\frac {\partial(y^TXw)}{\partial w}\\ &=(y^TX)^T，转置，分母布局\\ &=X^Ty \end{aligned}
∂w∂(wTXTy)=∂w∂(wTXTy)T，标量转置不变=∂w∂(yTXw)=(yTX)T，转置，分母布局=XTy
∂
(
w
T
X
T
X
w
)
∂
w
=
∂
(
w
T
A
w
)
∂
w
，
①
=
∂
w
T
∂
w
A
w
+
∂
(
A
w
)
T
∂
w
w
，
②
=
∂
w
T
∂
w
A
w
+
∂
(
w
T
A
T
)
∂
w
w
，
③
=
(
A
+
A
T
)
w
=
2
A
w
=
2
A
T
w
，
\begin{aligned} \frac {\partial(w^TX^TXw)}{\partial w}&=\frac {\partial(w^TAw)}{\partial w}，①\\ &=\frac {\partial w^T }{\partial w}Aw+\frac {\partial (Aw)^T }{\partial w}w，②\\ &=\frac {\partial w^T }{\partial w}Aw+\frac {\partial (w^TA^T) }{\partial w}w，③\\ &=(A+A^T)w=2Aw=2A^Tw， \end{aligned}
∂w∂(wTXTXw)=∂w∂(wTAw)，①=∂w∂wTAw+∂w∂(Aw)Tw，②=∂w∂wTAw+∂w∂(wTAT)w，③=(A+AT)w=2Aw=2ATw，
① 直接公式
d
(
w
T
A
w
)
d
w
=
(
A
+
A
T
)
w
\frac{d(w^TAw)}{dw}=(A+A^T)w
dwd(wTAw)=(A+AT)w
②用
d
(
A
T
B
)
d
X
=
d
A
T
d
X
B
+
d
B
T
d
X
A
\frac{d(A^TB)}{dX}=\frac{dA^T}{dX}B+\frac{dB^T}{dX}A
dXd(ATB)=dXdATB+dXdBTA
③
d
X
T
d
X
=
I
\frac{dX^T}{dX}=I
dXdXT=I
局部加权线性回归
局部加权线性回归的
W
W
W是对角矩阵n * n，用高斯核，对应的
w
(
i
,
i
)
=
e
x
p
(
∣
x
(
i
)
−
x
∣
−
2
k
2
)
w(i,i)=exp(\frac{|x^{(i)}-x|} {-2k^2} )
w(i,i)=exp(−2k2∣x(i)−x∣)
J
(
θ
)
=
(
y
−
X
w
)
T
W
(
y
−
X
w
)
J(\theta)=(y-Xw)^TW(y-Xw)
J(θ)=(y−Xw)TW(y−Xw)
推导过程一样，
w
^
=
(
X
T
W
X
)
−
1
X
T
W
y
\hat w=(X^TWX)^{-1}X^TWy
w^=(XTWX)−1XTWy
看了一下午矩阵微分的证明和定义，公式写起来太麻烦了，发现有一个很好的整理和讲义。
矩阵微分法
扫一扫
604
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
