估计量的性质 （克拉美-罗（Cramer-Rao）界及其证明）

按照某种估计准则求出后，需要对估计量的质量进行评价，这就需要研究估计量的主要性质。估计量是观测量的函数，而观测量时随机变量，因此估计量也是随机变量，必须用统计的方法分析和评价各种估计量的质量。下面提出的估计量的主要特性就是估计量质量的指标。

1.5.1 估计量的主要性质

估计量的主要性质包括无偏性，有效性和一致性。

1.5.1.1 无偏性

对信号的参量进行多次观测后，希望估计值应分布在真值附近，因此，第一个要考虑的问题是关于估计量的均值问题。

对于随即参量 ，如果估计量的均值等于被估计量的均值，即

则称为无偏估计量，否则就是有偏的，其偏差等于两均值之差。

1.5.1.2 有效性

一个估计量仅用是否无偏来评价显然是不完全的，因为即使是一个无偏估计量，如果它的方差很大，那么其估计的误差也可能很大，可见无偏估计量不能保证估计量分布在真值附近，那么第二个性质是关于估计误差的方差或均方误差的问题。

对于被估计量的任意无偏估计量和，若估计误差的均方误差满足：

则称估计量比有效。如果无偏估计量的均方误差小于其他任何无偏估计量的误差的方差，那么称此估计量为最小误差方差估计量。

1.5.1.3 一致性

被估计量的估计量是根据有限N次观测量 构造的，记为，希望随着观测次数N的增加，估计的质量提高，即估计值趋近于被估计量的真值或均值，或者估计的均方误差减少。对于任意小的正数 ，若

则，称估计量是一致估计量（收敛的）。或者，若

则称估计量是均方一致估计量（均方收敛的）。

1.5.2 克拉美-罗（Cramer-Rao）界及其证明

为了确定估计量的有效性，可直接计算均值和方差，并与其他的估计进行比较，也可以寻求间接方法，即确定任一无偏差估计量方差的下界，将实际估计的方差与此下界进行比较，从而确定其有效性。这个下界就是克拉美-罗（Cramer-Rao）界。

1.5.2.1 非随机参量估计的边界

设是非随机参量 的任意无偏估计，则有

当且仅当对所有和都满足

时等号成立。其中可以是的函数，但不能是和的函数。

以上就是非随机参量情况下的克拉美-罗不等式及其等号成立条件。

 

证明：

 是非随机参量的任意无偏估计

 

 

 and

Schwartz inequality:  当且仅当正比于时等号成立，即时，k为任意常数。

 and

根据施瓦茨不等式取等条件，当且仅当所有和都满足时等号成立

1.5.2.2 随机参量估计误差方差的下界

设是随机参量 的任意无偏估计，则有

当且仅当对所有和都满足

其中k是任意常数。

 

以上就是非随机参量情况下的克拉美-罗不等式及其等号成立条件。

 

 

证明：

 是随机参量的任意无偏估计

 

 

 and

Schwartz inequality:  当且仅当时，k为任意常数。

 and

根据施瓦茨不等式取等条件，当且仅当所有和都满足 ​时等号成立。