MVU表示最小方差无偏估计，下面将推导一个线性模型的MVUE，即最小方差无偏估计量。
线性模型可以表示为：
x
=
H
θ
+
w
\bf{x = H\theta + w}
x=Hθ+w
其中
θ
\theta
θ 为待估参数，均为向量。当然，这里的MVU估计量也可以被称为BLUE，即最佳线性无偏估计量。
我们假设
w
∼
N
(
0
,
C
)
\bf{w} \sim N(0,C)
w∼N(0,C) ，要根据克拉美罗界限求得最小方差无偏估计量，依据公式：
∂
ln
p
(
x
;
θ
)
∂
θ
=
I
(
θ
)
(
g
(
x
)
−
θ
)
\frac{\partial \ln p(\mathbf{x} ; \theta)}{\partial \theta}=I(\theta)(g(x)-\theta)
∂θ∂lnp(x;θ)=I(θ)(g(x)−θ)
可以得到克拉美罗界限
I
(
θ
)
I(\theta)
I(θ)，以及最小方差无偏估计量
θ
^
=
g
(
x
)
\hat{\theta} = g(x)
θ^=g(x)，所以我们的目的就是求
∂
ln
p
(
x
;
θ
)
∂
θ
\frac{\partial \ln p(\mathbf{x} ; \theta)}{\partial \theta}
∂θ∂lnp(x;θ)。
p
(
x
;
θ
)
=
1
(
2
π
)
N
2
d
e
t
(
C
)
1
2
e
x
p
(
−
1
2
(
x
−
H
θ
)
T
C
−
1
(
x
−
H
θ
)
)
p(\bf{x;\theta}) = \frac{1}{ (2\pi)^{\frac{N}{2}}det(C)^{\frac{1}{2}}}exp(-\frac{1}{2}(x-H\theta)^{T}C^{-1}(x-H\theta))
p(x;θ)=(2π)2Ndet(C)211exp(−21(x−Hθ)TC−1(x−Hθ))
∂
ln
p
(
x
;
θ
)
∂
θ
=
−
1
2
∂
∂
θ
[
x
T
C
−
1
x
+
(
H
θ
)
T
C
−
1
(
H
θ
)
−
(
H
θ
)
T
C
−
1
x
−
x
T
C
−
1
(
H
θ
)
]
=
−
1
2
[
2
H
T
C
−
1
H
θ
−
2
H
T
C
−
1
x
]
=
−
H
T
C
−
1
H
θ
+
H
T
C
−
1
x
=
(
H
T
C
−
1
H
)
(
(
H
T
C
−
1
H
)
−
1
H
T
C
−
1
x
−
θ
)
\begin{aligned} \frac{\partial \ln p(\mathbf{x} ; \theta)}{\partial \theta} &= -\frac{1}{2}\frac{\partial}{\partial \theta}[x^TC^{-1}x +(H \theta)^TC^{-1}(H \theta) - (H \theta)^TC^{-1}x-x^TC^{-1}(H \theta)] \\ &= - \frac{1}{2}[2 H^TC^{-1}H\theta -2H^TC^{-1}x] \\ &=-H^T C^{-1}H\theta + H^TC^{-1}x \\ &=(H^TC^{-1}H)((H^TC^{-1}H)^{-1}H^TC^{-1}x - \theta) \end{aligned}
∂θ∂lnp(x;θ)=−21∂θ∂[xTC−1x+(Hθ)TC−1(Hθ)−(Hθ)TC−1x−xTC−1(Hθ)]=−21[2HTC−1Hθ−2HTC−1x]=−HTC−1Hθ+HTC−1x=(HTC−1H)((HTC−1H)−1HTC−1x−θ)
得到
θ
^
=
g
(
x
)
=
(
H
T
C
−
1
H
)
−
1
H
T
C
−
1
x
\hat{\theta} = g(x) = (H^TC^{-1}H)^{-1}H^TC^{-1}x
θ^=g(x)=(HTC−1H)−1HTC−1x
v
a
r
(
θ
)
=
I
(
θ
)
−
1
=
(
H
T
C
−
1
H
)
−
1
var(\theta) = I(\theta)^{-1} = (H^TC^{-1}H)^{-1}
var(θ)=I(θ)−1=(HTC−1H)−1
这个结论与最小二乘法相同。
7469
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
