最小二乘估计

最新推荐文章于 2024-08-17 21:11:56 发布

置顶 td092

最新推荐文章于 2024-08-17 21:11:56 发布

阅读量6.9k

点赞数

分类专栏：机器人

欢迎交流，有评论就更

本文链接：https://blog.csdn.net/weixin_38258767/article/details/104510760

版权

机器人专栏收录该内容

63 篇文章 9 订阅

订阅专栏

1、最小二乘估计

最小二乘估计最早是由高斯在1795年提出。设状态变量为 $X$ ,观测变量为 $Z$ ，观测噪声为 $V$ ，则第 $i$ 次观测可以表示为：
$Z_i=H_iX+V_i$
最小二乘估计的目标是找到 $X=\hat{X}$ 使得：
$J(X) = (Z-HX)^T(Z-HX)$
最小。
上式对 $X$ 求偏导，并令之为 $0$ ,可得： $\hat{X}=(H^TH)^{-1}H^TZ$
令 $\tilde{X}=X-\hat{X}$ 为估计误差，
则有：
$E[\tilde{X}]=0$
$E[\tilde{X}\tilde{X}^T]=(H^TH)^{-1}H^TRH(H^TH)^{-1}$

当使用单一仪器多次测量时，采用最小二乘估计可以减小估计的方差。( $\frac{R}{k},R为噪声方差，k为观测次数$ ）
但是如果使用不同精度的测量仪器时，采用最小二乘估计可能出现估计方差大于单一传感器方差的情况，这时候就要引入加权最小二乘估计。

2、加权最小二乘估计

加权最小二乘估计引入了权值矩阵 $W$ ,此时
$J(X) = (Z-HX)^TW(Z-HX)$
同上，求得 $\tilde{X}=(H^TWH)^{-1}H^TWZ$
此时， $E[\tilde{X}\tilde{X}^T]=（H^TWH)^{-1}H^TWRWH(H^TWH)^{-1}$
当 $W=R^{-1}$ 时， $E[\tilde{X}\tilde{X}^T]=（H^TR^{-1}H)^{-1}$ 取得最小，此时的 $\tilde{X}$ 称为马尔可夫估计。
下面是证明：
正定矩阵 $R$ 可以表示为 $S^TS$ ( $S$ 满秩）
令：
$A=H^TS^{-1}$
$B=SWH(H^TWH)^{-1}$
则有：
$A B = I$
$B^TB=（H^TWH)^{-1}H^TWRWH(H^TWH)^{-1}$
由施瓦茨不等式有： $B^TB\geq(AB)^T(AA^T)^{-1}(AB)=(H^TR^{-1}H)^{-1}$
即证。