线性回归linear regression
局部加权线性回归local weighted linear regression
线性回归
用普通最小二乘法Ordinary Least Square
即通过最小化误差的平方和寻找数据的最佳函数匹配
∑
i
=
1
m
(
y
−
x
i
T
w
)
2
\sum_{i=1}^{m}(y-x_i^Tw)^2
i=1∑m(y−xiTw)2
用矩阵表示:
(
y
−
X
w
)
T
(
y
−
X
w
)
(y-Xw)^T(y-Xw)
(y−Xw)T(y−Xw)
对这个式子求导,令其等于0,解出
w
w
w即为最优解。
结论为
w
^
=
(
X
T
X
)
−
1
X
T
y
,
w
^
表
示
w
的
一
个
最
佳
估
计
\hat{w}=(X^TX)^{-1}X^Ty,\hat{w}表示w的一个最佳估计
w^=(XTX)−1XTy,w^表示w的一个最佳估计
X
:
n
×
p
X:n\times p
X:n×p
y
:
n
×
1
y :n\times 1
y:n×1
w
:
p
×
1
w:p\times 1
w:p×1
推导过程:
(
y
−
X
w
)
T
(
y
−
X
w
)
=
(
y
T
−
w
T
X
T
)
(
y
−
X
w
)
=
(
y
T
y
−
y
T
X
w
−
w
T
X
T
y
+
w
T
X
T
X
w
)
\begin{aligned} (y-Xw)^T(y-Xw) &=(y^T-w^TX^T)(y-Xw) \\ &=(y^Ty-y^TXw-w^TX^Ty+w^TX^TXw) \\ \end{aligned}
(y−Xw)T(y−Xw)=(yT−wTXT)(y−Xw)=(yTy−yTXw−wTXTy+wTXTXw)
分别求导:
∂
(
y
T
y
)
∂
w
=
0
\frac {\partial( y^Ty)}{\partial w}=0
∂w∂(yTy)=0
∂
(
y
T
X
w
)
∂
w
=
(
y
T
X
)
T
=
X
T
y
,
分
母
布
局
\begin{aligned} \frac {\partial( y^TXw)}{\partial w} &=(y^TX)^T\\ &=X^Ty,分母布局 \end{aligned}
∂w∂(yTXw)=(yTX)T=XTy,分母布局
∂
(
w
T
X
T
y
)
∂
w
=
∂
(
w
T
X
T
y
)
T
∂
w
,
标
量
转
置
不
变
=
∂
(
y
T
X
w
)
∂
w
=
(
y
T
X
)
T
,
转
置
,
分
母
布
局
=
X
T
y
\begin{aligned} \frac {\partial(w^TX^Ty)}{\partial w}&=\frac {\partial(w^TX^Ty)^T}{\partial w} ,标量转置不变\\ &=\frac {\partial(y^TXw)}{\partial w}\\ &=(y^TX)^T,转置,分母布局\\ &=X^Ty \end{aligned}
∂w∂(wTXTy)=∂w∂(wTXTy)T,标量转置不变=∂w∂(yTXw)=(yTX)T,转置,分母布局=XTy
∂
(
w
T
X
T
X
w
)
∂
w
=
∂
(
w
T
A
w
)
∂
w
,
①
=
∂
w
T
∂
w
A
w
+
∂
(
A
w
)
T
∂
w
w
,
②
=
∂
w
T
∂
w
A
w
+
∂
(
w
T
A
T
)
∂
w
w
,
③
=
(
A
+
A
T
)
w
=
2
A
w
=
2
A
T
w
,
\begin{aligned} \frac {\partial(w^TX^TXw)}{\partial w}&=\frac {\partial(w^TAw)}{\partial w},①\\ &=\frac {\partial w^T }{\partial w}Aw+\frac {\partial (Aw)^T }{\partial w}w,②\\ &=\frac {\partial w^T }{\partial w}Aw+\frac {\partial (w^TA^T) }{\partial w}w,③\\ &=(A+A^T)w=2Aw=2A^Tw, \end{aligned}
∂w∂(wTXTXw)=∂w∂(wTAw),①=∂w∂wTAw+∂w∂(Aw)Tw,②=∂w∂wTAw+∂w∂(wTAT)w,③=(A+AT)w=2Aw=2ATw,
① 直接公式
d
(
w
T
A
w
)
d
w
=
(
A
+
A
T
)
w
\frac{d(w^TAw)}{dw}=(A+A^T)w
dwd(wTAw)=(A+AT)w
②用
d
(
A
T
B
)
d
X
=
d
A
T
d
X
B
+
d
B
T
d
X
A
\frac{d(A^TB)}{dX}=\frac{dA^T}{dX}B+\frac{dB^T}{dX}A
dXd(ATB)=dXdATB+dXdBTA
③
d
X
T
d
X
=
I
\frac{dX^T}{dX}=I
dXdXT=I
局部加权线性回归
局部加权线性回归的
W
W
W是对角矩阵n * n
,用高斯核,对应的
w
(
i
,
i
)
=
e
x
p
(
∣
x
(
i
)
−
x
∣
−
2
k
2
)
w(i,i)=exp(\frac{|x^{(i)}-x|} {-2k^2} )
w(i,i)=exp(−2k2∣x(i)−x∣)
J
(
θ
)
=
(
y
−
X
w
)
T
W
(
y
−
X
w
)
J(\theta)=(y-Xw)^TW(y-Xw)
J(θ)=(y−Xw)TW(y−Xw)
推导过程一样,
w
^
=
(
X
T
W
X
)
−
1
X
T
W
y
\hat w=(X^TWX)^{-1}X^TWy
w^=(XTWX)−1XTWy
看了一下午矩阵微分的证明和定义,公式写起来太麻烦了,发现有一个很好的整理和讲义。
矩阵微分法