线性最小方差估计理论推导
-
定义
也叫线性最小均方误差估计，顾名思义，就是使估计误差的平方和的均值达到最小。 -
理论推导
假设系统 z = H x + ϵ z=Hx+\epsilon z=Hx+ϵ已知, x x x为真实值， z z z为观测到的数据，我们需要利用观测到的数据去估计真值，故被估量为 x x x，假设 E ( x ) = x ˉ ， E(x)=\bar{x}， E(x)=xˉ， V a r ( x ) = Q x Var(x)=Q_x Var(x)=Qx， x x x与 ϵ \epsilon ϵ不相关(有 E ( x ϵ ) = 0 E(x\epsilon)=0 E(xϵ)=0),且噪声 ϵ \epsilon ϵ满足 E ( ϵ ) = 0 E(\epsilon)=0 E(ϵ)=0， V a r ( ϵ ) = R Var(\epsilon)=R Var(ϵ)=R，则有 E ( z ) = H x ˉ ， V a r ( z ) = H Q x H T + R ， C o v ( x , z ) = Q x H T E(z)=H\bar{x}，Var(z)=HQ_xH^T+R，Cov(x,z)=Q_xH^T E(z)=Hxˉ，Var(z)=HQxHT+R，Cov(x,z)=QxHT我们需要用一个 z z z的一个线性函数 x ^ = A z + B \hat{x}=Az+B x^=Az+B去估计 x x x(因为 z z z才是我们能得到的值),利用均方误差最小的准则，计算其均方误差为
I = E [ ( x ^ − x ) T ( x ^ − x ) ] = E [ ( A z + B − x ) T ( A z + B − x ) ] = E [ t r ( ( A z + B − x ) ( A z + B − x ) T ) ] = t r E [ ( ( A z + B − x ) ( A z + B − x ) T ) ] I=E[(\hat{x}-x)^T(\hat{x}-x)]=E[(Az+B-x)^T(Az+B-x)]=E[tr((Az+B-x)(Az+B-x)^T)]=trE[((Az+B-x)(Az+B-x)^T)] I=E[(x^−x)T(x^−x)]=E[(Az+B−x)T(Az+B−x)]=E[tr((Az+B−x)(Az+B−x)T)]=trE[((Az+B−x)(Az+B−x)T)]
既然是求最小值，肯定需要求偏导数呀， A , B A,B A,B是待定的矩阵，就对 A , B A,B A,B求偏导:
∂ I ∂ A = 2 E [ ( A z + B − x ) z T ] = 0 \frac{\partial I}{\partial A}=2E[(Az+B-x)z^T]=0 ∂A∂I=2E[(Az+B−x)zT]=0
∂ I ∂ B = 2 E ( A z + B − x ) = 0 \frac{\partial I}{\partial B}=2E(Az+B-x)=0 ∂B∂I=2E(Az+B−x)=0
第二个式子得 B = E x − A E z = x ˉ − A H x ˉ B=Ex-AEz=\bar{x}-AH\bar{x} B=Ex−AEz=xˉ−AHxˉ带入第一个式子得
A = C o v ( x , z ) ( V a r ( z ) ) − 1 = Q x H T ( H Q x H T + R ) − 1 A=Cov(x,z)(Var(z))^{-1}=Q_xH^T(HQ_xH^T+R)^{-1} A=Cov(x,z)(Var(z))−1=QxHT(HQxHT+R)−1，将 A A A和 B B B带入 x ^ = A z + B \hat{x}=Az+B x^=Az+B得到 x x x的线性最小方差估计为：
x ^ = Q x H T ( H Q x H T + R ) − 1 ( z − H x ˉ ) + x ˉ \hat{x}=Q_xH^T(HQ_xH^T+R)^{-1}(z-H\bar{x})+\bar{x} x^=QxHT(HQxHT+R)−1(z−Hxˉ)+xˉ
估计误差：
w = x − x ^ = ( x − x ˉ ) − Q x H T ( H Q x H T + R ) − 1 ( z − H x ˉ ) w=x-\hat{x}=(x-\bar{x})-Q_xH^T(HQ_xH^T+R)^{-1}(z-H\bar{x}) w=x−x^=(x−xˉ)−QxHT(HQxHT+R)−1(z−Hxˉ)
估计误差的方差阵为：
P = E ( w w T ) = V a r ( x ) − Q x H T ( H Q x H T + R ) − 1 C o v ( z , x ) P=E(ww^T)=Var(x)-Q_xH^T(HQ_xH^T+R)^{-1}Cov(z,x) P=E(wwT)=Var(x)−QxHT(HQxHT+R)−1Cov(z,x)得
P = E ( w w T ) = Q x − Q x H T ( H Q x H T + R ) − 1 H Q x P=E(ww^T)=Q_x-Q_xH^T(HQ_xH^T+R)^{-1}HQ_x P=E(wwT)=Qx−QxHT(HQxHT+R)−1HQx
至此推导完成，若 Q x Q_x Qx非奇异，则可利用下述公式简化误差的方差阵： -
Sherman–Morrison–Woodbury 公式
设矩阵 A ∈ R m × m A∈R^{m×m} A∈Rm×m和 D ∈ R n × n D∈R^{n×n} D∈Rn×n非奇异, 且 B ∈ R m × n B∈R^{m×n} B∈Rm×n, C ∈ R n × m C∈R^{n×m} C∈Rn×m. 若 C A − 1 B + D − 1 CA^{−1}B+D^{−1} CA−1B+D−1 非奇异, 则矩阵 A + B D C A + BDC A+BDC 非奇异, 且
( A + B D C ) − 1 = A − 1 − A − 1 B ( D − 1 + C A − 1 B ) − 1 C A − 1 (A + BDC)^{−1}= A^{−1} − A^{−1}B(D^{−1}+ CA^{−1}B)^{−1}CA^{−1} (A+BDC)−1=A−1−A−1B(D−1+CA−1B)−1CA−1利用上述公式得估计误差的方差阵：
P = ( Q x − 1 + H T R − 1 H ) − 1 P=(Q_x^{-1}+H^{T}R^{-1}H)^{-1} P=(Qx−1+HTR−1H)−1
博客处女作，能力和经验有限，有错误的地方请大家指正，感谢！
823
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
