线性最小方差估计和射影定理
主要参考了邓自立老师的《信息融合滤波理论及其应用》，邓老师另外还有一本《卡尔曼滤波与维纳滤波》，后者该部分的推导过程基本是前者的简化版，黄小平老师的《卡尔曼滤波原理及应用》则推导更加简便（看不懂，省略过多），建议初学者阅读《信息融合滤波理论及其应用》。
一、线性最小方差估计
1、得到线性最小方差估计
随机变量
y
y
y属于空间
R
m
R^m
Rm，维度为
[
m
,
1
]
[m,1]
[m,1]；随机变量
x
x
x属于空间
R
n
R^n
Rn，维度为
[
n
,
1
]
[n,1]
[n,1]。存在一个线性函数可以从
y
y
y估计
x
x
x，估计值写作
x
^
\widehat{x}
x
，该线性函数写作：
x
^
=
b
+
A
×
y
\widehat{x}=b+A \times y
x
=b+A×y
此时的方差 J = E [ ( x − x ^ ) T × ( x − x ^ ) ] = E [ ( x − b − A × y ) T × ( x − b − A × y ) ] J=E[(x-\hat x)^T \times (x-\hat x)]=E[(x-b-A \times y)^T \times (x-b-A \times y)] J=E[(x−x^)T×(x−x^)]=E[(x−b−A×y)T×(x−b−A×y)]
想要得到合适的参数 b b b和 A A A，使得 J J J最小化，不妨令 ∂ J ∂ b = − 2 E ( x − b − A y ) = 0 \frac{\partial J}{\partial b}=-2E(x-b-Ay)=0 ∂b∂J=−2E(x−b−Ay)=0
可以解得 { b = E x − A × E y A = P x y P y y − 1 \begin{cases} b=Ex-A\times Ey\\ A=P_{xy}{P_{yy}}^{-1}\\ \end{cases} {b=Ex−A×EyA=PxyPyy−1
由此可得 x ^ = E x + P x y P y y − 1 ( y − E y ) \hat{x}=Ex+P_{xy}{P_{yy}}^{-1}\left( y-Ey \right) x^=Ex+PxyPyy−1(y−Ey)
2、一些特性
（1）无偏性： E x ^ = E x E\hat x=Ex Ex^=Ex
E x ^ = E [ E x + P x y P y y − 1 ( y − E y ) ] = E x + P x y P y y − 1 ( E y − E y ) = E x E \hat x=E[Ex+P_{xy}P_{yy}^{-1}(y-Ey)]\\ =Ex+P_{xy}P_{yy}^{-1}(Ey-Ey)\\ =Ex Ex^=E[Ex+PxyPyy−1(y−Ey)]=Ex+PxyPyy−1(Ey−Ey)=Ex
（2）正交性： E [ ( x − x ^ ) y T ] = 0 E[(x-\hat x)y^T]=0 E[(x−x^)yT]=0
首先：
E
[
(
x
−
E
x
−
P
x
y
P
y
y
−
1
(
E
y
−
E
y
)
)
E
y
T
]
展开后
=
E
(
x
E
T
(
y
)
)
−
E
[
E
(
x
)
E
T
(
y
)
]
−
P
x
y
P
y
y
−
1
E
(
y
)
E
T
(
y
)
+
P
x
y
P
y
y
−
1
E
(
y
)
E
T
(
y
)
=
0
E[(x-Ex-P_{xy}P_{yy}^{-1}(Ey-Ey)){Ey}^T]展开后\\ =E(xE^{T}(y))-E[E(x)E^T(y)]-P_{xy}P_{yy}^{-1}E(y)E^T(y)+P_{xy}P_{yy}^{-1}E(y)E^T(y)\\ =0
E[(x−Ex−PxyPyy−1(Ey−Ey))EyT]展开后=E(xET(y))−E[E(x)ET(y)]−PxyPyy−1E(y)ET(y)+PxyPyy−1E(y)ET(y)=0
然后：
E
[
(
x
−
x
^
)
y
T
]
=
E
[
(
x
−
E
x
−
P
x
y
P
y
y
−
1
(
E
y
−
E
y
)
)
y
T
]
=
E
[
(
x
−
E
x
−
P
x
y
P
y
y
−
1
(
E
y
−
E
y
)
)
(
y
−
E
y
)
T
]
(
由上式子推出
)
=
E
[
(
x
−
E
x
)
(
y
−
E
y
)
T
]
−
E
[
P
x
y
P
y
y
−
1
(
y
−
E
y
)
(
y
−
E
y
)
T
]
=
P
x
y
−
P
x
y
P
y
y
P
y
y
−
1
=
0
E[(x-\hat x)y^T]\\ =E[(x-Ex-P_{xy}P_{yy}^{-1}(Ey-Ey))y^T]\\ =E[(x-Ex-P_{xy}P_{yy}^{-1}(Ey-Ey))(y-Ey)^T] (由上式子推出)\\ =E[(x-Ex)(y-Ey)^T]-E[P_{xy}P_{yy}^{-1}(y-Ey)(y-Ey)^T]\\ =P_{xy}-P_{xy}P_{yy}P_{yy}^{-1}\\ =0
E[(x−x^)yT]=E[(x−Ex−PxyPyy−1(Ey−Ey))yT]=E[(x−Ex−PxyPyy−1(Ey−Ey))(y−Ey)T](由上式子推出)=E[(x−Ex)(y−Ey)T]−E[PxyPyy−1(y−Ey)(y−Ey)T]=Pxy−PxyPyyPyy−1=0
（3）不相关性： x ˉ = x − x ^ \bar x = x- \hat x xˉ=x−x^与 y y y不相关
E [ x − x ^ ] = E ( x ) − E ( x ^ ) = 0 E[x- \hat x]=E(x)-E(\hat x)=0 E[x−x^]=E(x)−E(x^)=0
E [ [ ( x − x ^ ) − E ( x − x ^ ) ] ( y − E y ) T ] = E [ ( x − x ^ ) ( y − E y ) T ] = E [ ( x − x ^ ) y T ] − E [ ( x − x ^ ) ( E y ) T ] = 0 E[[(x-\hat x)-E(x-\hat x)](y-Ey)^T]\\ =E[(x-\hat x)(y-Ey)^T]\\ =E[(x-\hat x)y^T]-E[(x- \hat x)(Ey)^T]\\ =0 E[[(x−x^)−E(x−x^)](y−Ey)T]=E[(x−x^)(y−Ey)T]=E[(x−x^)yT]−E[(x−x^)(Ey)T]=0
二、射影定理
摄影定理是高维空间中的正交分解。线性流形就是高维向量组成的集合。
由前文知道 x − x ^ x-\hat x x−x^和 y y y不相关且正交，不妨称这种情况为 x − x ^ x-\hat x x−x^垂直 y y y，记作 ( x − x ^ ) ⊥ y (x-\hat x) \bot y (x−x^)⊥y,并称作 x ^ \hat x x^为 x x x在 y y y上的射影，写作 x ^ = p r o j ( x ∣ y ) \hat x=proj(x|y) x^=proj(x∣y)。
1、随机变量的线性最小方差估计就是射影的结果。
随机变量 y ( 1 ) , ⋯ , y ( k ) ∈ R m y(1),\cdots,y(k)\in R^m y(1),⋯,y(k)∈Rm对随机变量 x ∈ R n x \in R^n x∈Rn的线性最小方差估计 x ^ \hat x x^
x
^
=
p
r
o
j
(
x
∣
w
)
≜
p
r
o
j
(
x
∣
y
(
1
)
,
⋯
,
y
(
k
)
)
\hat x=proj(x|w)\triangleq proj(x|y(1),\cdots,y(k))
x^=proj(x∣w)≜proj(x∣y(1),⋯,y(k))
称
x
^
\hat x
x^为
x
x
x在线性流形
L
(
w
)
L(w)
L(w)或
L
(
y
(
1
)
,
⋯
,
y
(
k
)
)
L(y(1),\cdots,y(k))
L(y(1),⋯,y(k))上的射影。
L
(
w
)
L(w)
L(w)定义为:
L
(
w
)
≜
L
(
y
(
1
)
,
⋯
,
y
(
k
)
)
=
{
y
∣
y
=
A
w
+
b
,
∀
b
∈
R
n
,
∀
A
∈
R
n
×
k
m
}
L(w)\triangleq L(y(1),\cdots,y(k))\\ =\{y|y=Aw+b,\forall b\in R^n,\forall A\in R^{n \times km}\}
L(w)≜L(y(1),⋯,y(k))={y∣y=Aw+b,∀b∈Rn,∀A∈Rn×km}
2、一个推论
若
x
∈
R
n
x \in R^n
x∈Rn为0均值随机向量，
y
(
1
)
,
⋯
,
y
(
k
)
∈
R
m
y(1), \cdots ,y(k) \in R^m
y(1),⋯,y(k)∈Rm为0均值互不相关（正交）的随机变量，那么存在以下性质：
p
r
o
j
(
x
∣
y
(
1
)
,
⋯
,
y
(
k
)
)
=
∑
i
=
1
k
p
r
o
j
(
x
∣
y
(
i
)
)
proj(x|y(1),\cdots ,y(k))=\sum_{i=1}^k{proj\left( x|y\left( i \right) \right)}
proj(x∣y(1),⋯,y(k))=i=1∑kproj(x∣y(i))
证明：
p
r
o
j
(
x
∣
y
(
1
)
,
⋯
,
y
(
k
)
)
=
p
r
o
j
(
x
∣
w
)
=
P
x
w
P
w
w
−
1
w
=
E
[
x
(
y
T
(
1
)
,
⋯
,
y
T
(
k
)
)
]
[
P
y
(
1
)
y
(
1
)
−
1
0
⋯
0
0
⋱
0
⋮
⋮
0
⋱
0
0
⋯
0
P
y
(
k
)
y
(
k
)
−
1
]
[
y
(
1
)
⋮
y
(
k
)
]
=
∑
i
=
1
k
P
x
y
(
i
)
P
y
(
i
)
y
(
i
)
−
1
y
(
i
)
=
∑
i
=
1
k
p
r
o
j
(
x
∣
y
(
i
)
)
proj(x|y(1),\cdots,y(k))=proj(x|w)=P_{xw}P_{ww}^{-1}w=\\ E\left[ x\left( y^T\left( 1 \right) ,\cdots ,y^T\left( k \right) \right) \right] \left[ \begin{matrix} P_{y\left( 1 \right) y\left( 1 \right)}^{-1}& 0& \cdots& 0\\ 0& \ddots& 0& \vdots\\ \vdots& 0& \ddots& 0\\ 0& \cdots& 0& P_{y\left( k \right) y\left( k \right)}^{-1}\\ \end{matrix} \right] \left[ \begin{array}{c} y\left( 1 \right)\\ \vdots\\ y\left( k \right)\\ \end{array} \right] =\\ \sum_{i=1}^k{P_{xy\left( i \right)}P_{y\left( i \right) y\left( i \right)}^{-1}y\left( i \right) =\sum_{i=1}^k{proj\left( x|y\left( i \right) \right)}}
proj(x∣y(1),⋯,y(k))=proj(x∣w)=PxwPww−1w=E[x(yT(1),⋯,yT(k))]
Py(1)y(1)−10⋮00⋱0⋯⋯0⋱00⋮0Py(k)y(k)−1
y(1)⋮y(k)
=i=1∑kPxy(i)Py(i)y(i)−1y(i)=i=1∑kproj(x∣y(i))
3、第二个推论
p r o j ( A x + B z ∣ y ) = A × p r o j ( x ∣ y ) + B × p r o j ( z ∣ y ) proj(Ax+Bz|y)=A \times proj(x|y)+B \times proj(z|y) proj(Ax+Bz∣y)=A×proj(x∣y)+B×proj(z∣y)
4、第三个推论
有随机变量 x ∈ R n x \in R^n x∈Rn和随机变量 y ∈ R m y \in R^m y∈Rm，记 x x x的分量形式为：
x = [ x 1 ⋮ x n ] x=\left[ \begin{array}{c} x_1\\ \vdots\\ x_n\\ \end{array} \right] x= x1⋮xn
有下面关系成立：
p r o j ( x ∣ y ) = [ p r o j ( x 1 ∣ y ) ⋮ p r o j ( x n ∣ y ) ] proj(x|y)=\left[ \begin{array}{c} proj(x_1|y)\\ \vdots\\ proj(x_n|y)\\ \end{array} \right] proj(x∣y)= proj(x1∣y)⋮proj(xn∣y)
即：随机变量 x x x的线性最小方差估计的每个分量等于 x x x的相应的分量的线性最小方差估计。
4314
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
