极限理论总结08：参数推断——渐近相对效率、一步MLE、似然比统计量/Wald统计量/Rao统计量

10.参数推断

渐近相对效率

在参数模型中我们常常关心参数的值，但真值往往是未知的，这时我们需要对参数值进行推断。在这里常用到的是参数估计与假设检验。前者在无目标下估计参数的值，后者在有目标下检验对于参数的假设是否可以接受。

而在估计参数值时，常常是用样本的统计量对参数进行估计，并且使得这一统计量具有某种很好的性质，比如无偏性，最小化方差，最小化MSE等。但当有多个统计量都可以用来估计某参数时，我们应如何选择恰当的统计量？

在估计参数时，往往需要规定估计的精度，以下给出渐进相对效率的定义：

定义10.1（渐近相对效率）：设$A$和$B$为两个统计量，$n_A$和$n_B$分别为使量统计量的估计达到统一精度时的样本量。定义$B$与$A$之间的渐进相对效率（ARE）为
$$e(B,A)=\underset{n_A,n_B\to \infty }{\lim }\frac{n_A}{n_B}$$

• 当$A$与$B$均为（单变量）无偏统计量时，上式可由量统计量的方差决定，此时也叫作渐近相对方差

$$e(B,A)=\underset{n_A,n_B\to \infty }{\lim }\frac{n_A}{n_B}=\frac{{\sigma }_A^2(\theta )}{{\sigma }_B^2(\theta )}$$

• 当$A$与$B$为多元情形时，若$A$ 为 $AN\left(\mathbf{\theta },n^{-1}{\Sigma }_1(\mathbf{\theta })\right)$，$B$ 为 $AN\left(\mathbf{\theta },n^{-1}{\Sigma }_2(\mathbf{\theta })\right)$,$B$与$A$之间的渐近相对效率（ARE）定义为

$$\left(B,A\right)=\underset{n_1,n_2\to \infty }{\lim }\frac{n_1}{n_2}={\left(\frac{\left|{\Sigma }_1(\theta )\right|}{\left|{\Sigma }_2(\theta )\right|}\right)}^{\frac{1}{k}}$$

定义$B$优于$A$为：$\left|{\Sigma }_1(\theta )\right|\le \left|{\Sigma }_2(\theta )\right|$

此时我们能不能找到一个"最优"的统计量来估计$\theta$？

渐近有效性

定义10.2（Fisher信息量）：设 ${\mathbf{X}}_1,{\mathbf{X}}_2,\dots ,{\mathbf{X}}_n\stackrel{\text{ i.i.d. }}{\sim }{F}_{\mathbf{\theta }}$, 其中 $\mathbf{\theta }\in \Theta \subset {\mathbb{R}}^k$, $F_{\mathbf{\theta }}$ 有密度函数（pdf）或质量函数（pmf） $f(\mathbf{x};\mathbf{\theta })$，设 F = { F θ , θ ∈ Θ } \mathcal{F}=\left\{F_{\boldsymbol{\theta}}, \boldsymbol{\theta} \in \Theta\right\} F={Fθ​,θ∈Θ}满足正则条件，Fisher信息量定义为
$$\mathbf{I}(\mathbf{\theta })=\mathrm{E}\left[\frac{\partial \log f(\mathbf{X};\mathbf{\theta })}{\partial \mathbf{\theta }}{\left\{\frac{\partial \log f(\mathbf{X};\mathbf{\theta })}{\partial \mathbf{\theta }}\right\}}^{\top }\right]$$
，并且为一正定矩阵。

定义10.3（渐近有效性）：估计量 ${\hat{\mathbf{\theta }}}_n$ 服从 $AN\left(\mathbf{\theta },n^{-1}\Sigma (\mathbf{\theta })\right)$ 如果满足$\Sigma (\mathbf{\theta })={\mathbf{I}}^{-1}(\mathbf{\theta })$，则称其为渐进有效或渐进最优的。

正则条件：令 $\Theta$ 为 $\mathbb{R}$中的开区间，假设：
(C1) 对任意 $\theta \in \Theta$, 三阶导数 $\frac{{\partial }^j\log f(x;\theta )}{\partial {\theta }^j},j=1,2,3$对任意$x$均成立。
(C2) 对每一 ${\theta }_0\in \Theta$, 存在函数 $h_1(x),h_2(x)$ 和 $H(x)$ (可能含 ${\theta }_0$ ) 使得在 $\theta$ 的一个邻域 $N\left({\theta }_0\right)$里有
$$\left|\frac{\partial f(x;\theta )}{\partial \theta }\right|\le h_1(x),\left|\frac{{\partial }^{2}f(x;\theta )}{\partial {\theta }^2}\right|\le h_2(x),\left|\frac{{\partial }^3\log f(x;\theta )}{\partial {\theta }^3}\right|\le H(x)$$
对所有$x$均成立，其中
∫ h 1 ( x ) d x < ∞ , ∫ h 2 ( x ) d x < ∞ , E { H ( X ) } < ∞  for  θ ∈ N ( θ 0 ) \int h_{1}(x) \mathrm{d} x<\infty, \int h_{2}(x) \mathrm{d} x<\infty, \mathrm{E}\{H(X)\}<\infty \text { for } \theta \in N\left(\theta_{0}\right) ∫h1​(x)dx<∞,∫h2​(x)dx<∞,E{H(X)}<∞ for θ∈N(θ0​)
(C3) 对任意 $\theta \in \Theta ,0<I(\theta )=\mathrm{E}\left\{{\left(\frac{\partial \log f(x;\theta )}{\partial \theta }\right)}^2\right\}<\infty$

定理10.4（MLE与RLE的渐近性质）：对于分布族$\mathcal{F}$假设正则条件 $(C1)-(C3)$成立。设 $X_1,X_2,\dots ,X_n$ 为从$F_{\theta }$中获得的 i.i.d. 观测值则以概率一极大似然估计 $\left\{{\hat{\theta }}_n\right\}$ 满足

• 强相合性: ${\hat{\theta }}_n\to \theta$ as $n\to \infty$;
• 渐近正态性与渐近有效性: ${\hat{\theta }}_n$ 服从 A N ( θ , { n I ( θ ) } − 1 ) . A N\left(\theta,\{n I(\theta)\}^{-1}\right) . AN(θ,{nI(θ)}−1).

但在许多情形下，得分函数的零点无显式解或不易求解。对于无显式解情形，可以使用迭代求解的方法对零点进行逼近，如Newton-Rhapson迭代法和Fisher得分法。

以下给出可以“替代”MLE的“最优解“，从而省去利用迭代法求解的过程：

一步RLE/MLE（one-step RLE/MLE）：
$${\hat{\theta }}^{(1)}={\hat{\theta }}^{(0)}-{\left\{s_n^{\prime }\left({\hat{\theta }}^{(0)}\right)\right\}}^{-1}{s}_n\left({\hat{\theta }}^{(0)}\right)$$

定理10.5：假设 ${\hat{\theta }}^{(0)}$ 为$\theta$的$\sqrt{n}$-相合估计量，则

• 一步RLE/MLE ${\hat{\theta }}^{(1)}$ 是渐近有效的
• 在一步RLE/MLE中将 $s_n^{\prime }\left({\hat{\theta }}^{(0)}\right)$ 换为其期望值, $-I\left({\hat{\theta }}^{(0)}\right)$后仍为渐近有效的。

简单检验

而对于给定参数目标的情形，首先假设检验为简单假设：$H_0:\mathbf{\theta }={\mathbf{\theta }}_0$

考虑一下三种检验统计量：

• 似然比统计量 (Neyman & Pearson, 1928):

$${\Lambda }_n=\frac{L\left({\mathbf{\theta }}_0\right)}{{\sup }_{\mathbf{\theta }}L(\mathbf{\theta })}$$

​ 或等价的定义 ${\lambda }_n=-2\log {\Lambda }_n$

• Wald 统计量 (Wald, 1943):

$$W_n=n{\left({\hat{\mathbf{\theta }}}_n-{\mathbf{\theta }}_0\right)}^{\top }\mathbf{I}\left({\hat{\mathbf{\theta }}}_n\right)\left({\hat{\mathbf{\theta }}}_n-{\mathbf{\theta }}_0\right)$$

• Rao 统计量 (Rao, 1947):

$$R_n=n{\mathbf{s}}_n^{\top }\left({\mathbf{\theta }}_0\right){\mathbf{I}}^{-1}\left({\theta }_0\right){\mathbf{s}}_n\left({\mathbf{\theta }}_0\right)$$

引理10.6：设 $X_1,X_2,\dots ,X_n\stackrel{\text{ i.i.d. }}{\sim }{F}_{\mathbf{\theta }}$. 在正则条件下,

• $\sqrt{n}\left({\hat{\mathbf{\theta }}}_n-\mathbf{\theta }\right)\stackrel{d}{\to }N\left(0,{\mathbf{I}}^{-1}(\mathbf{\theta })\right)$

• $\sqrt{n}{\mathbf{s}}_n(\theta )\stackrel{d}{\to }N(0,I(\theta ))$

• $\sqrt{n}\left\{{\mathbf{s}}_n(\mathbf{\theta })-\mathbf{I}(\mathbf{\theta })\left({\hat{\mathbf{\theta }}}_n-\mathbf{\theta }\right)\right\}=o_p(1)$

  • $\sqrt{n}\left({\hat{\theta }}_n-\theta \right)=\sqrt{n}{I}^{-1}(\theta ){\mathrm{s}}_n(\theta )+o_p(1)$

• ${\ell }_n\left({\hat{\mathbf{\theta }}}_n\right)-{\ell }_n(\mathbf{\theta })=\frac{1}{2}n{\left({\hat{\mathbf{\theta }}}_n-\mathbf{\theta }\right)}^{\top }\mathbf{l}(\mathbf{\theta })\left({\hat{\mathbf{\theta }}}_n-\mathbf{\theta }\right)+o_p(1)$, 其中 ${\ell }_n(\theta )=\log L(\theta )$

  • ${\ell }_n\left({\hat{\mathbf{\theta }}}_n\right)-{\ell }_n(\mathbf{\theta })=\frac{1}{2}n{\mathbf{s}}_n^{\top }(\mathbf{\theta }){\mathbf{\Gamma }}^{-1}(\mathbf{\theta }){\mathbf{s}}_n(\mathbf{\theta })+o_p(1)$

定理10.7：在 $H_0$下,统计量 ${\lambda }_n,W_n$ 和 $R_n$ 分别依分布收敛到 ${\chi }_k^2$ 。

注：证明需利用引理8.6，详细过程参见Lecture notes on asymptotic statistics。

复杂检验

对于复杂检验$H_0:\mathbf{\theta }\in {\Theta }_0$

三种检验统计量：

• 似然比统计量 (Neyman & Pearson, 1928):

$${\Lambda }_n=\frac{{\sup }_{\mathbf{\theta }\in {\Theta }_0}L(\mathbf{\theta })}{{\sup }_{\mathbf{\theta }\in \Theta }L(\mathbf{\theta })}=\frac{L\left({\hat{\mathbf{\theta }}}_{0n}\right)}{L\left({\hat{\mathbf{\theta }}}_n\right)}$$

​ 或等价的定义 ${\lambda }_n=-2\log {\Lambda }_n$

• Wald 统计量 (Wald, 1943):

$$W_n=n{\mathbf{R}}^{\top }\left({\hat{\mathbf{\theta }}}_n\right){\left\{{\nabla }^{\top }\mathbf{R}\left({\hat{\mathbf{\theta }}}_n\right){\mathbf{I}}^{-1}\left({\hat{\mathbf{\theta }}}_n\right)\nabla \mathbf{R}\left({\hat{\mathbf{\theta }}}_n\right)\right\}}^{-1}\mathbf{R}\left({\hat{\mathbf{\theta }}}_n\right)$$

• Rao 统计量 (Rao, 1947):

$$R_n=n{\mathbf{s}}_n^{\top }\left({\hat{\mathbf{\theta }}}_{0n}\right){\mathbf{I}}^{-1}\left({\hat{\mathbf{\theta }}}_{0n}\right){\mathbf{s}}_n\left({\hat{\mathbf{\theta }}}_{0n}\right)$$

类似于简单检验情形，有以下收敛性质：

定理10.8：在假设$H_0$ ： $\mathbf{\theta }\in {\Theta }_0$ 或可写成 $\mathbf{\theta }=g(\mathbf{\vartheta })$ ， $\mathbf{\vartheta }\in {\mathbb{R}}^{k-r}$下,统计量 ${\lambda }_n$ $W_n$ 和 $R_n$ 分别依分布收敛到 ${\chi }_r^2$。