分布估计算法java_数理统计8：点估计的有效性、一致最小方差无偏估计(UMVUE)、零无偏估计法...

在之前的学习中，主要基于充分统计量给出点估计，并且注重于点估计的无偏性与相合性。然而，仅有这两个性质是不足的，无偏性只能保证统计量的均值与待估参数一致，却无法控制统计量可能偏离待估参数的程度；相合性只能在大样本下保证统计量到均值的收敛性，但却对小样本情形束手无策。今天我们将注重于统计量的有效性，即无偏统计量的抽样分布的方差。由于本系列为我独自完成的，缺少审阅，如果有任何错误，欢迎在评论区中指出，谢谢！

目录

Part 1：一致最小方差无偏估计

首先考虑这样的问题：如何刻画一个统计量的有效程度？注意到，一个统计量的取值既可能高于待估参数，亦可能低于待估参数，要综合考虑统计量对待估参数误差，需要用平方均衡这种双向偏差，因此，提出均方误差的概念：若\(\hat g(\boldsymbol{X})\)是\(g(\theta)\)的估计量，则\(\hat g(\boldsymbol{X})\)的均方误差定义为

\[\mathrm{MSE}(\hat g(\boldsymbol{X}))= \mathbb{E}[\hat g(\boldsymbol{X})-g(\theta)]^2. \]

对于确定的统计量\(\hat g(\boldsymbol{X})\)而言，\(\mathrm{MSE}(\hat g(\boldsymbol{X}))\)是\(\theta\)的函数。显然，一个统计量的均方误差越小，它就越在待估参数真值附近环绕，由此，用统计量的一次观测值作为待估参数的估计就有着越大的把握。

如果对于\(g(\theta)\)的两个估计量\(\hat g_1(\boldsymbol{X})\)和\(\hat g_2(\boldsymbol{X})\)，恒有\(\mathrm{MSE}(\hat g_1(\boldsymbol{X}))\le \mathrm{MSE}(\hat g_2(\boldsymbol{X}))\)，且严格不等号至少在某个\(\theta\)处成立，就称\(\hat g_1(\boldsymbol{X})\)在均方误差准则下优于\(\hat g_2(\boldsymbol{X})\)。如果我们能找到均方误差最小的统计量\(\hat g(\boldsymbol{X})\)，就相当于找到了均方误差准则下的最优统计量。

不过，均方误差是\(\theta\)的函数，这就导致了某些统计量在\(\theta=\theta_1\)时均方误差小，在\(\theta=\theta_2\)时均方误差大，一致最小均方误差估计量便不存在，需要增加约束条件，找到更可能存在的“最优”。

基于此，我们提出一致最小方差无偏估计(UMVUE)的概念，它将\(g(\theta)\)的估计量限制在了无偏估计之中，这使得UMVUE的存在可能性得以提高。并且，由于\(\mathbb{E}(\hat g(\boldsymbol{X}))=g(\theta)\)，所以

\[\mathrm{MSE}(\hat g(\boldsymbol{X}))=\mathbb{E}(\hat g(\boldsymbol{X})-g(\theta))^2=\mathbb{E}[\hat g(\boldsymbol{X})-\mathbb{E}(\hat g(\boldsymbol{X}))]^2=\mathbb{D}(\hat g(\boldsymbol{X})), \]

即无偏估计的均方误差就是无偏估计的方差。

不过首先要提出的是，UMVUE往往比一致最小均方误差估计量更容易存在，但依然不是所有参数都存在UMVUE的，并且，甚至可能有的参数根本不存在无偏估计。

以下是一个典型的不存在无偏估计的例子：\(X\sim B(n,p)\)，参数\(g(p)=1/p\)的无偏估计不存在。书上给出的证明过程如下：

首先，无偏估计不依赖于样本容量，故假设\(n=1\)。若\(g(p)\)有无偏估计\(\hat g(X)\)，则由于\(X=0,1,\cdots,n\)，故\(\hat g(X)\)的取值只可能是\(a_0,a_1,\cdots,a_n\)，可以写出其期望为

\[\mathbb{E}(\hat g(X))=\sum_{j=0}^n a_jC_n^jp^j(1-p)^{n-j}, \]

当\(\hat g(X)\)为无偏估计时，成立以下等式：

\[\sum_{j=0}^na_jC_n^jp^j(1-p)^{n-j}=\frac{1