20.数理统计备考(2)

数理统计备考(2)

第三章

本章是点估计，包含点估计的评定法则、矩估计、极大似然估计、UMVUE、CR不等式等内容。

点估计指的是用一个统计量来作为一个未知参数（函数）的估计值。用来估计一个未知参数的点估计有很多种，它们的优劣程度有一系列判断准则。

1. 无偏性：$E\hat{\theta }=\theta$是否成立，或者$n\to \infty$时是否有$E{\hat{\theta }}_n\to \theta$。
2. 有效性：$D\hat{\theta }$是大还是小。
3. 相合性：是否有$\hat{\theta }\to \theta$，有弱相合、强相合、$r$阶矩相合之分。

常用的点估计方式有矩估计和极大似然估计。

矩估计指的是用样本矩代替总体矩，首先要将未知参数（函数）用总体矩表达出来（主要是均值、方差），再用相应的样本矩替换。样本矩指
$$\begin{gathered} a_{n,k}=\frac{1}{n}\sum _{i=1}^n{X}_i^k\Rightarrow E(X_i^k) \\ {m}_{n,k}=\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^k\Rightarrow E(X_i-\bar{X}{)}^k \end{gathered}$$
矩估计量不是唯一的，用样本矩代替总体矩的方法叫做矩法估计。

极大似然估计指的是使似然函数达到最大值的参数值作为点估计值，记作MLE。似然函数形式上与样本的联合密度函数一致，但主元是未知参数，记作$L(\theta ;\mathbf{x})=f(\mathbf{x};\theta )$。对数似然函数为$l(\theta ;\mathbf{x})=\ln L(\theta ;\mathbf{x})$。

要使得似然函数或对数似然函数取到最大值，对于参数空间为开集的情况，只要让
$$\frac{\partial l}{\partial {\theta }_i}=0$$
如果参数空间不是开集或者似然函数关于$\theta$不可导，则求MLE需要观察似然函数的形式。但如果样本分布族是指数族，则只要似然方程组的解是自然参数空间的内点，则必为$\theta$的MLE。

---

UMVUE即一致最小方差无偏估计，指的是在所有参数函数$g(\theta )$的无偏估计中，无论$g(\theta )$实际是多少，方差都是最小的那个点估计。将UMVUE限制在无偏估计类，是因为无偏估计的均方误差就是方差，即
$$E(\hat{g}-g(\theta ){)}^2=E{\hat{g}}^2-2g(\theta )E\hat{g}+(g(\theta ){)}^2=E{\hat{g}}^2-(E\hat{g}{)}^2=D\hat{g}$$
如果要验证某个估计量是UMVUE，可以使用零无偏估计法。如果$\hat{g}(\mathbf{X})$是$g(\theta )$的UMVUE，要满足以下条件：

1. $E(\hat{g}(\mathbf{X}))=g(\theta )$；
2. $\forall l(\mathbf{X}),E_{\theta }l(\mathbf{X})=0$，有$E(l(\mathbf{X}),\hat{g}(\mathbf{X}))=0$。

即所有的零无偏估计都和$\hat{g}(\mathbf{X})$独立。

如果要寻找某个参数函数$g(\theta )$的UMVUE，可以使用L-S定理，找到一个充分完备统计量$T(\mathbf{X})$，再找到一个函数$\hat{g}$，使得$E(\hat{g}(T))=g(\theta )$，则$\hat{g}(T)$是$g(\theta )$的UMVUE。

在没有给出无偏估计的情况下，可以使用以下几种求UMVUE的方法：

1. 如果给定的参数值显然是某一个事件的概率，则可以取一个统计量为这个事件的示性函数，记作$\phi (\mathbf{X})$，于是UMVUE为$E(\phi (\mathbf{X})|T)$。

   如$X\sim b(1,p)$，要估计的参数为$g(p)=p(1-p)$，充分完备统计量为$T={\sum }_{i=1}^n{X}_i$，此时可以取$\phi (\mathbf{X})=I_{(X_1=1,X_2=0)}$。于是
   $$\begin{array}{rl}E(\phi (\mathbf{X})|T=t)=& \frac{\mathbf{P}(X_1=1,X_2=0|T=t)}{\mathbf{P}(T=t)}\\ =& \frac{\mathbf{P}(X_1=1)\mathbf{P}(X_2=0)\mathbf{P}({\sum }_{i=3}^n{X}_i=t-1)}{\mathbf{P}(T=t)}\\ =& \frac{p(1-p)C_{n-2}^{t-1}{p}^{t-1}(1-p{)}^{n-t-1}}{C_n^t{p}^t(1-p{)}^{n-t}}\\ =& \frac{C_{n-2}^{t-1}}{C_n^t}\\ =& \frac{t(n-t)}{n(n-1)}\end{array}$$
   得到UMVUE为
   $$\frac{T(n-T)}{n(n-1)}$$

2. 如果待估参数是没什么特征的参数函数，则可以自己设出其关于$T$的无偏估计函数，并由无偏性构造等式求出无偏估计的具体表达式。

   如$X\sim P(\lambda )$，待估参数为$g(\lambda )={\lambda }^r,r\in \mathbb{N}$，充分统计量为$T={\sum }_{i=1}^n{X}_i$。此时$T\sim P(n\lambda )$，假设其无偏估计为$h(T)$，则
   $$\begin{gathered} \mathbf{P}(T=k)=\frac{(n\lambda {)}^k}{k!}{e}^{-n\lambda }, \\ E(h(T))=e^{-n\lambda }\sum _{k=0}^{\infty }h(k)\frac{(n\lambda {)}^k}{k!}={\lambda }^r. \\ \begin{array}{rl}\sum _{k=0}^{\infty }h(k)\frac{(n\lambda {)}^k}{k!}=& {\lambda }^r{e}^{n\lambda }\\ \sum _{k=0}^{\infty }h(k)\frac{(n\lambda {)}^k}{k!}=& {\lambda }^r\sum _{l=0}^{\infty }\frac{(n\lambda {)}^l}{l!}=\sum _{l=r}^{\infty }\frac{n^{l-r}{\lambda }^l}{(l-r)!}\\ \Downarrow & \end{array} \\ h(t)=\{\begin{array}{lc}0,& t\le r-1;\\ \frac{t!}{(t-r)!n^r},& t\ge r.\end{array} \end{gathered}$$
   故${\lambda }^r$的UMVUE为
   $$\frac{T(T-1)\cdots (T-r+1)}{n^r}$$

---

C-R不等式给出了无偏估计的方差下界，这个方差下界是有条件且不一定能达到的。首先，要计算某个待估参数的C-R下界，要求总体分布族是正则的，且积分与求导可交换。即：

1. 参数空间$\Theta$是直线上的开区间；
2. 分布族中所有密度函数共支撑；
3. 密度函数$f(x,\theta )$关于$\theta$的一阶导存在；
4. 积分与微分运算可交换；
5. $I(\theta )=E[\frac{\partial \log f(X,\theta )}{\partial \theta }{]}^2<\infty$；
6. 对于$g(\theta )$的任一无偏估计$\hat{g}(\mathbf{X})$，其期望在积分号下可对$\theta$求导数。

以上几个条件不好验证，但如果总体分布族是指数族，则以上条件都成立。在这种情况下，C-R不等式表现为：
$$\begin{gathered} D\hat{g}(\mathbf{X})\ge \frac{(g^{\prime }(\theta ){)}^2}{nI(\theta )},\forall \theta \in \Theta \\ I(\theta )=E{\left[\frac{\partial \ln f(X,\theta )}{\partial \theta }\right]}^2=-E\left(\frac{{\partial }^2\ln f(X,\theta )}{\partial {\theta }^2}\right) \end{gathered}$$
注意，信息函数中是对总体密度函数求对数而不是样本联合密度函数。特别当$g(\theta )=\theta$时，其C-R下界为$(nI(\theta ){)}^{-1}$。

在待估参数的C-R下界存在时，就可以计算无偏估计的效率了，为了使效率介于0到1之间，取效率为
$$e_{\hat{g}}(\theta )=\frac{(g^{\prime }(\theta ){)}^2}{nI(\theta )D(\hat{g})}$$
如果$e_{\hat{g}}=1$，则称无偏估计$\hat{g}$是有效估计；如果随着$n$的增长$e_{\hat{g}}$趋向于1，则称$\hat{g}$为渐进有效估计。由于C-R下界并不总能达到，所以待估参数并不总是存在有效估计。但是，达到C-R下界的无偏估计一定是UMVUE。