机器学习|点估计（估计量的优良准则）|5mins入门|概统学习笔记（二十四）

估计量的优良准则

• 前提：评价一个估计量的好坏，不能仅仅依据一次试验的结果，而必须由多次试验结果来衡量。

  因为估计量是样本的函数，是随机变量。因此，由不同的观测结果，就会求得不同的参数估计值。所以一个好的估计，应在多次试验中体现出优良性。

• 常用的几条标准：

  1. 无偏性

  2. 有效性

  3. 相合性

（一）无偏性：

• 背景：估计量是随机变量，对于不同的样本值会得到不同的估计值。我们希望估计值在未知参数真值附近摆动，而它的期望值等于未知参数的真值。这就导致了无偏性这个标准。

• 定义：设$\hat{\theta }(X_1,...,X_n)$是未知参数$\theta$的估计量，若$E(\hat{\theta })=\theta$,则称$\hat{\theta }$为$\theta$的无偏估计

• 实际意义：无偏性的实际意义是指没有系统性的偏差

  e.g 用样本均值作为总体均值的估计时，虽无法说明一次估计所产生的偏差，但这种偏差随机地在0的周围波动，对同一统计问题大量重复使用不会产生系统偏差。

（二）有效性：

• 背景：一个参数往往有不止一个无偏估计，若${\hat{\theta }}_1$和${\hat{\theta }}_2$都是参数$\theta$的无偏估计量，我们可以比较$E({\hat{\theta }}_1-\theta {)}^2$和$E({\hat{\theta }}_2-\theta {)}^2$的大小来决定二者谁更优。由于
  $$\begin{gathered} D({\hat{\theta }}_1)=E({\hat{\theta }}_1-\theta {)}^2 \\ D({\hat{\theta }}_2)=E({\hat{\theta }}_2-\theta {)}^2 \end{gathered}$$
  所以无偏估计以方差小者为好，这就引入了有效性这一概念。

• 定义：设${\hat{\theta }}_1={\hat{\theta }}_1(X_1,...,X_n)$和${\hat{\theta }}_2={\hat{\theta }}_2(X_1,...,X_n)$都是参数$\theta$的无偏估计量，若有
  $$D({\hat{\theta }}_1)<D({\hat{\theta }}_2)$$
  则称${\hat{\theta }}_1$较${\hat{\theta }}_2$有效。

• 最小方差无偏估计：设$X_1,...,X_n$是取自总体X的一个样本，$\hat{\theta }(X_1,...,X_2)$是未知参数$\theta$的一个估计量，若$\hat{\theta }$满足：

  （1）$E(\hat{\theta })=\theta$，即$\hat{\theta }$为$\theta$的无偏估计；

  （2）$D(\hat{\theta })\le D({\hat{\theta }}^{\ast })$，${\hat{\theta }}^{\ast }$是$\theta$的任一无偏估计

  则称$\hat{\theta }$为$\theta$的最小方差无偏估计（也称最佳无偏估计）。