估计——最小方差无偏估计

最新推荐文章于 2024-06-15 21:36:05 发布

GongPF

最新推荐文章于 2024-06-15 21:36:05 发布

阅读量1.6w

点赞数 3

分类专栏：估计理论

本文链接：https://blog.csdn.net/GongPF/article/details/88707401

版权

估计理论专栏收录该内容

5 篇文章 13 订阅

订阅专栏

- 确定好的估计量

- 建立数据的数学模型：一般由于数据固有的随机性，则选择它们的PDF来描述它，即 $p(x_{1},x_{2},...,x_{N-1};\theta )$

- 运用PDF和相关约束条件来获取估计量：估计对象是一个确定性的参数，只是具体值未知。如果估计对象是一个随机变量，则需要引入估计对象的先验分布，利用贝叶斯方法进行估计。

- 最佳估计量的选择：估计量性能的评估（无偏性、有效性以及一致性）。常用的方法：期望验证无偏；CRLB（Cramer-Rao Lower Bound）和方差验证有效；一致性利用依概率收敛验证。

- 估计方法一——最小方差无偏估计(MVU)

- 无偏估计量：估计量的均值为未知参数的真值即 $E( \hat{\theta }) =\theta$ 。（注意：无偏估计量并不意味着它就是好的/最佳的估计量）

- 无偏性的另一个重要含义：当同一参数有多个估计量可用的请况 $[\hat{\theta _{1}},\hat{\theta _{2}},...,\hat{\theta _{n}}]$ 。一个合理的解决方法，对这些估计组合求平均，从而获取更好的估计，即是 $\hat{\theta }=\frac{1}{n}\sum_{i=1}^{n}\hat{\theta _{i}}$ 。若干每个估计量是无偏，方差相同且互不相关，则有

$E( \hat{\theta }) =\theta$

$var(\hat{\theta })=\frac{1}{n^{2}}\sum_{i=1}^{n}var(\hat{\theta _{i}})=var(\hat{\theta _{1}})/n$

- 有偏估计量：一般请况定义估计量的偏差为

$e(\theta )=E(\hat{\theta })-\theta$

- 最小方差准则：一个自然的准则是均方误差（MSE）

定义为

$mse(\hat{\theta }))=E[(\hat{\theta }-\theta )^{2}]$

$mse(\hat{\theta }))=E\left \{ [(\hat{\theta}-E(\hat{\theta})) + (E(\hat{\theta})-\theta )]^{2}\right \}{=var(\hat{\theta }) + [E(\hat{\theta })-\theta ]^{2}=var(\hat{\theta }) + b^{2}(\theta )$

- MVUE是否存在：对所有的 $\theta$ 具有最小方差的无偏估计例如下图（图片来源：Steven M. Kay《Fundamental of statistical signal processing estimation theory》）

- 求MVUE：MVUE即使存在，可能也无法求取请况。有几种常用方法：1）利用CRLB，检查是否有某些参数估计量满足MVUE；2）应用RBLS(Rao-Blackwell-Lehman-Scheffe)定理；3）进一步限制估计量是无偏的，且还是线性的，然后在这些限制中找到MVU。这三个方法后面会逐一说明。

GongPF

关注

3
点赞
踩
27

收藏

觉得还不错? 一键收藏
0
评论
估计——最小方差无偏估计

- 确定好的估计量- 建立数据的数学模型：一般由于数据固有的随机性，则选择它们的PDF来描述它，即- 运用PDF和相关约束条件来获取估计量：估计对象是一个确定性的参数，只是具体值未知。如果估计对象是一个随机变量，则需要引入估计对象的先验分布，利用贝叶斯方法进行估计。- 最佳估计量的选择：估计量性能的评估（无偏性、有效性以及一致性）。常用的方法：期望验证无偏；CRLB（Cramer-R...
复制链接

扫一扫