- 确定好的估计量
- 建立数据的数学模型:一般由于数据固有的随机性,则选择它们的PDF来描述它,即
- 运用PDF和相关约束条件来获取估计量:估计对象是一个确定性的参数,只是具体值未知。如果估计对象是一个随机变量,则需要引入估计对象的先验分布,利用贝叶斯方法进行估计。
- 最佳估计量的选择:估计量性能的评估(无偏性、有效性以及一致性)。常用的方法:期望验证无偏;CRLB(Cramer-Rao Lower Bound)和方差验证有效;一致性利用依概率收敛验证。
- 估计方法一——最小方差无偏估计(MVU)
- 无偏估计量:估计量的均值为未知参数的真值 即 。(注意:无偏估计量并不意味着它就是好的/最佳的估计量)
- 无偏性的另一个重要含义:当同一参数有多个估计量可用的请况 。 一个合理的解决方法,对这些估计组合求平均,从而获取更好的估计,即是。若干每个估计量是无偏,方差相同且互不相关,则有
- 有偏估计量:一般请况定义估计量的偏差为
- 最小方差准则:一个自然的准则是均方误差(MSE)
定义为
- MVUE是否存在:对所有的具有最小方差的无偏估计 例如下图(图片来源:Steven M. Kay《Fundamental of statistical signal processing estimation theory》)
- 求MVUE:MVUE即使存在,可能也无法求取请况。有几种常用方法:1)利用CRLB,检查是否有某些参数估计量满足MVUE;2)应用RBLS(Rao-Blackwell-Lehman-Scheffe)定理;3)进一步限制估计量是无偏的,且还是线性的,然后在这些限制中找到MVU。这三个方法后面会逐一说明。