UA MATH566 统计理论 证明UMVUE的方法

关于UMVUE，我们有下面两个非常常用的结论：

Lehmann-Sheffe定理：

1. 如果$g(\hat{\theta })$是$g(\theta )$的无偏估计，也是充分完备统计量$T(X)$的函数，则$g(\hat{\theta })$是$g(\theta )$的UMVUE；
2. 如果$g(\hat{\theta })$是$g(\theta )$的无偏估计，则$E[g(\hat{\theta })|T]$是$g(\theta )$的UMVUE；
3. 如果存在$g(\theta )$的UMVUE，则一定是充分完备统计量$T(X)$的函数。

Cramer-Rao不等式：
$f(x,\theta )$是Cramer-Rao分布族，$\hat{g}(X)$与$\hat{\theta }(X)$分别是$g(\theta )$与$\theta$的无偏估计，其中$g(\theta )$可导，则
$$Var(\hat{\theta })\ge I^{-1}(\theta ),Var(\hat{g}(X))\ge [g^{\prime }(\theta ){]}^2{I}^{-1}(\theta )$$

Cramer-Rao分布族（正则分布族） { f ( x , θ ) , θ ∈ Θ } \{f(x,\theta),\theta \in \Theta\} { f(x,θ),θ∈Θ}
为了让C-R不等式成立，需要一些条件，满足这些条件的分布族被称为C-R分布族：

1. $\theta \in \Theta$，$\Theta$是开集，并且$f(x,\theta )=f(x,{\theta }^{{}^{\prime }})\iff \theta ={\theta }^{{}^{\prime }}$
2. 记分布族的对数似然为$L(\theta )=\ln f(x,\theta )$，假设对数似然二阶可导
3. 记得分函数$S(x,\theta )=\nabla L(\theta )$，并假设$S(x,\theta )\in L^2(\mathcal{X},\mathcal{B}(\mathcal{X}),P_X)$
4. 假设分布族$F_{\theta }$的支撑 S u p p θ = { x : f ( x , θ ) } > 0 Supp_{\theta}=\{x:f(x,\theta)\}>0 Suppθ​={ x:f(x,θ)}>0与$\theta$无关
5. 假设$f(x,\theta )$关于$\theta$可导

常见的非正则分布族的分布有均匀分布、带位移的指数分布等。如果某个统计量的方差等于C-R下界，那么他一定具有最小方差。

基于这两个定理，我们有这些证明UMVUE的方法：（还有方法三C-R不等式法，我把这个方法并入矩估计量+delta方法）

方法一 零无偏估计法

如果$g(\hat{\theta })$是$g(\theta )$的有界无偏估计（方差有界），并且对任意零的无偏估计$l(X)$（即$El(X)=0$）都满足$Cov(g(\hat{\theta }),l(X))=0$，则$g(\hat{\theta })$是$g(\theta )$的UMVUE。
证明 假设$g_1(\hat{\theta })$是$g(\theta )$的另一个无偏估计，作$l(X)=g_1-g$，则
$$Var(g_1)=Var(g+l)=Var(g)+Var(l)+0\ge Var(g)$$

上式对任意无偏估计均成立。
证毕

这个方法一般只用来证明某个统计量是UMVUE，并且使用的时候有一个难点，零的无偏估计是任意的。因此使用这个方法的本质是尝试用条件：
$$El(X)={\int }_{\mathcal{X}}l(x)f_X(x)dx=0$$

导出
$$Cov(g(\hat{\theta }),l(X))=E[g(\hat{\theta })l(X)]={\int }_{\mathcal{X}}(g(\hat{\theta })l)(x)f_X(x)dx$$

例1 { X i } i = 1 n \{X_i\}_{i=1}^n { Xi​}i=1n​是总体$Ber(p)$的一组简单随机样本，求$p$的UMVUE
样本的联合似然为
$$L(p)=\prod _{i=1}^n{p}^{X_i}(1-p{)}^{1-X_i}=p^{{\sum }_{i=1}^n{X}_i}(1-p{)}^{n-{\sum }_{i=1}^n{X}_i}$$

根据Neyman-Fisher定理，$T(X)={\sum }_{i=1}^n{X}_i$是充分统计量。计算$T(X)$的期望，
$$ET(X)=E\sum _{i=1}^{n}X=\sum _{i=1}^{n}E{X}_i=np$$

因此$T(X)/n$是$p$的无偏估计。下面用零无偏估计法证明它也是UMVUE。对于任一零无偏估计$l(T)$，
E l ( T ) = ∑ i = 0 n l i C n i p i ( 1 − p ) n − i = 0 ⇒ ∑ i = 0 n l i C n i ( p 1 − p ) i = 0 El(T) = \sum_{i=0}^n l_iC_n^i p^i(1-p)^{n-i} = 0 \Rightarrow \sum_{i=0}^n l_iC_n^i \left(\frac{p}{1-p} \right)^i = 0