极限理论总结04：Delta方法

06.Delta 方法

如果我们有估计量$T_n$用来估计参数$\theta$。若 $T_n$以某种收敛到$\theta$并且$g$连续,由连续映射定理可知相应的$g(T_n)$也收敛到$g(\theta )$。当$\sqrt{n}(T_n-\theta )$收敛到某一分布时，在一定条件下根据以下Delta方法可以得到$\sqrt{n}(g(T_n)-g(\theta ))$也会收敛到某一分布。

定理 6.1（一元Delta方法）：设 $\sqrt{n}\left(T_n-\theta \right)\stackrel{d}{\to }N\left(0,{\sigma }^2(\theta )\right)$. 令 $g:\mathbb{R}\mapsto \mathbb{R}$ 在 $\theta$ 可微且 $g^{\prime }(\theta )\ne 0.$ 则
n { g ( T n ) − g ( θ ) } → d N ( 0 , { g ′ ( θ ) } 2 σ 2 ( θ ) ) \sqrt{n}\left\{g\left(T_{n}\right)-g(\theta)\right\} \stackrel{d}{\rightarrow} N\left(0,\left\{g^{\prime}(\theta)\right\}^{2} \sigma^{2}(\theta)\right) n ​{g(Tn​)−g(θ)}→dN(0,{g′(θ)}2σ2(θ))

更一般地，设 $r_n\left(T_n-\theta \right)\stackrel{d}{\to }T$ ，其中 $T$为随机变量 (不一定服从正态分布)， $r_n\to \infty$ (并不一定为 $n^{1/2}$ )。如果 $g$ 在 $\theta$可微且 $g^{\prime }(\theta )\ne 0$, 则
r n { g ( T n ) − g ( θ ) } → d g ′ ( θ ) T r_{n}\left\{g\left(T_{n}\right)-g(\theta)\right\} \stackrel{d}{\rightarrow} g^{\prime}(\theta) T rn​{g(Tn​)−g(θ)}→dg′(θ)T

如果 $g^{\prime }(\theta )=0$, 那么得到的极限分布为一退化分布。则对$g(T_n)$考虑更高阶的展开
$$g\left(T_n\right)=g(\theta )+g^{\prime \prime }(\theta )\frac{{\left(T_n-\theta \right)}^2}{2}+o_p\left\{{\left(T_n-\theta \right)}^2\right\}$$
则有
n { g ( T n ) − g ( θ ) } = g ′ ′ ( θ ) { n ( T n − θ ) } 2 2 + o p ( 1 ) → d g ′ ′ ( θ ) σ 2 ( θ ) 2 χ 1 2 \begin{aligned} n\left\{g\left(T_{n}\right)-g(\theta)\right\} &=g^{\prime \prime}(\theta) \frac{\left\{\sqrt{n}\left(T_{n}-\theta\right)\right\}^{2}}{2}+o_{p}(1) \\ & \stackrel{d}{\rightarrow} \frac{g^{\prime \prime}(\theta) \sigma^{2}(\theta)}{2} \chi_{1}^{2} \end{aligned} n{g(Tn​)−g(θ)}​=g′′(θ)2{n ​(Tn​−θ)}2​+op​(1)→d2g′′(θ)σ2(θ)​χ12​​

由此给出定理6.2

定理6.2：设 $\sqrt{n}\left(T_n-\theta \right)\stackrel{d}{\to }N\left(0,{\sigma }^2(\theta )\right)$. 令 $g:\mathbb{R}\mapsto \mathbb{R}$ 在 $\theta$ k阶可微且 $g^{(j)}(\theta )=0$ $\forall j<k$ 但 $g^{(k)}(\theta )\ne 0$. 则
n k / 2 { g ( T n ) − g ( θ ) } → d g ( k ) ( θ ) σ k ( θ ) k ! { N ( 0 , 1 ) } k n^{k / 2}\left\{g\left(T_{n}\right)-g(\theta)\right\} \stackrel{d}{\rightarrow} \frac{g^{(k)}(\theta) \sigma^{k}(\theta)}{k !}\{N(0,1)\}^{k} nk/2{g(Tn​)−g(θ)}→dk!g(k)(θ)σk(θ)​{N(0,1)}k

例：设 $X_1,X_2,\dots ,X_n$ 为 i.i.d.随机变量有均值 $\mu$, 方差 ${\sigma }^2$ 且有 $\mathrm{E}\left(X_1^4\right)<\infty$。由CMT即Slutsky定理知 $\sqrt{n}\left(S_n^2-{\sigma }^2\right)\stackrel{d}{\to }N\left(0,{\mu }_4-{\sigma }^4\right)$。令$g(x)=\sqrt{x}$,由Delta方法可知$\sqrt{n}\left(S_n-\sigma \right)\stackrel{d}{\to }N\left(0,\frac{{\mu }_4-{\sigma }^4}{4{\sigma }^2}\right)$

以下给出多元情形Delta方法

定理6.3（Delta方法）：设
$\sqrt{n}\left({\mathbf{T}}_n-\mathbf{\theta }\right)\stackrel{d}{\to }{N}_p(0,\Sigma (\mathbf{\theta }))$. 令 $\mathbf{g}:{\mathbb{R}}^p\mapsto {\mathbb{R}}^m$ 在 $\mathbf{\theta }$ 可微且有非零梯度 $\nabla \mathbf{g}(\mathbf{\theta })$。则 n { g ( T n ) − g ( θ ) } → d N m ( 0 , ∇ ⊤ g ( θ ) Σ ( θ ) ∇ g ( θ ) ) \sqrt{n}\left\{\boldsymbol{g}\left(\boldsymbol{T}_{n}\right)-\boldsymbol{g}(\boldsymbol{\theta})\right\} \stackrel{d}{\rightarrow} N_{m}\left(\mathbf{0}, \nabla^{\top} \boldsymbol{g}(\boldsymbol{\theta}) \Sigma(\boldsymbol{\theta}) \nabla \boldsymbol{g}(\boldsymbol{\theta})\right) n ​{g(Tn​)−g(θ)}→dNm​(0,∇⊤g(θ)Σ(θ)∇g(θ))

例：设 $X_1,X_2,\dots ,X_n$ 为 i.i.d.随机变量有均值 $\mu$, 方差 ${\sigma }^2$ 且有 $\mathrm{E}\left(X_1^4\right)<\infty$。则有

$\sqrt{n}\left(\begin{array}{c}{\bar{X}}_n-\mu \\ S_n^2-{\sigma }^2\end{array}\right)\stackrel{d}{\to }{N}_2\left(\left(\begin{array}{l}0\\ 0\end{array}\right),\left(\begin{array}{cc}{\sigma }^2& {\mu }_3\\ {\mu }_3& {\mu }_4-{\sigma }^4\end{array}\right)\right)$

例：方差平稳变换（VST）$g(\theta )=\int \frac{1}{\sigma (\theta )}\mathrm{d}\theta$