极限理论总结03：中心极限定理（CLT）与Edgeworth展开

05.中心极限定理

独立同分布情形(Lindeberg-Lévy CLT)

首先重温Lindeberg-Lévy中心极限定理

定理5.1：（Lindeberg-Lévy CLT)设 ${\mathbf{X}}_1,\dots ,{\mathbf{X}}_n$ 为 i.i.d.随机向量，记 $\mathbf{\mu }=\mathrm{E}\left({\mathbf{X}}_1\right)$ 和$\Sigma =\mathrm{Cov}\left({\mathbf{X}}_1\right)<\infty$ 则 $\sqrt{n}\left({\overline{\mathbf{X}}}_n-\mathbf{\mu }\right)\stackrel{d}{\to }{N}_p(0,\Sigma )$

但方差有限不为必要条件。由此放宽CLT成立条件并得到如下定理：

定理5.2：设 $X_1,X_2,\dots$ 为i.i.d. 随机变量. 存在常数列 $a_n$ 和 $b_n$ 使得 $\left({\bar{X}}_n-a_n\right)/b_n\stackrel{d}{\to }N(0,1)$ 成立$⟺$ x 2 P ( ∣ X 1 ∣ > x ) E ( X 1 2 1 { ∣ X 1 ∣ ≤ x } ) → 0 , x → ∞ \frac{x^{2} \mathrm{P}\left(\left|X_{1}\right|>x\right)}{\mathrm{E}\left(X_{1}^{2} 1_{\left\{\left|X_{1}\right| \leq x\right\}}\right)} \rightarrow 0, x \rightarrow \infty E(X12​1{∣X1​∣≤x}​)x2P(∣X1​∣>x)​→0,x→∞

独立情形(Lindeberg-Feller& Lyapunov CLT)

设$s_n^2={\sum }_{i=1}^n{\sigma }_i^2$，定义

Lindeberg-Feller条件：
1 s n 2 ∑ i = 1 n E [ ( X i − μ i ) 2 1 { ∣ X i − μ i ∣ > ϵ s n } ] → 0 , ∀ ϵ > 0 \frac{1}{s_{n}^{2}} \sum_{i=1}^{n} \mathrm{E}\left[\left(X_{i}-\mu_{i}\right)^{2} 1_{\left\{\left|X_{i}-\mu_{i}\right|>\epsilon s_{n}\right\}}\right] \rightarrow 0, \forall \epsilon>0 sn2​1​i=1∑n​E[(Xi​−μi​)21{∣Xi​−μi​∣>ϵsn​}​]→0,∀ϵ>0
Lyapunov条件：
$$\sum _{i=1}^n\mathrm{E}{\left|X_i-{\mu }_i\right|}^{2+\delta }=o\left(s_n^{2+\delta }\right),\exists \delta >0$$
注：Lindeberg-Feller条件$\Rightarrow$Lyapunov条件

由此得到Lindeberg-Feller和Lyapunov中心极限定理

定理5.2： (Lindeberg-Feller & Lyapunov CLT)设 $X_i$ 为独立随机向量有均值${\mu }_i$ 和有限方差 ${\sigma }_i^2$. 令 $s_n^2={\sum }_{i=1}^n{\sigma }_i^2.$ 如果 Lindeberg-Feller 条件或 Lyapunov 条件成立，则有
$$\sum _{i=1}^n{X}_i\text{ is }AN\left(\sum _{i=1}^n{\mu }_i,s_n^2\right)$$

例1：设 $X_1,X_2,\dots ,X_n$ 为独立随机变量且 $X_i\sim$ Uniform $(-i,i)$ 对任意 $i=1,2,\dots ,n.$ 求 ${\sum }_{i=1}^n{X}_i$的极限分布。

解：由于$X_i$间无同分布条件，故尝试验证是否满足 Linderberg-Feller条件。

$X_i$均值方差为：$E(X_i)=0,Var(X_i)=i^2/3$，对方差求和可得$s_n^2={\sum }_{i=1}^{n}Var(X_i)=n(n+1)(2n+1)/18=O(n^3)$

则有对足够大的$n$,$\forall ϵ>0,|X_i|\le i\le n<ϵs_n$成立。由此可以得到：对足够大的$n$, I { ∣ X i ∣ > ϵ s n } = 0 I_{\{|X_i|>\epsilon s_n\}}=0 I{∣Xi​∣>ϵsn​}​=0

由 lim ⁡ n → ∞ ∑ i = 1 n E ( X i 2 1 { ∣ X i ∣ > ϵ s n } ) < ∞ \lim _{n \rightarrow \infty} \sum_{i=1}^{n} \mathrm{E}\left(X_{i}^{2} 1_{\left\{\left|X_{i}\right|>\epsilon s_{n}\right\}}\right)<\infty limn→∞​∑i=1n​E(Xi2​1{∣Xi​∣>ϵsn​}​)<∞和
$s_n\to \infty$可得：Linderberg-Feller条件成立

综上${\sum }_{i=1}^n{X}_i$为$AN\left(0,n(n+1)(2n+1)/18\right)$

例2：设 $X_1,X_2,\dots ,X_n$ 为独立随机变量且 $X_i\sim \mathrm{Binomial}\left(1,p_i\right)$ 对任意 $i=1,2,\dots ,n$. 如果${\sum }_{i=1}^n{p}_i\left(1-p_i\right)\to \infty$,求 ${\sum }_{i=1}^n{X}_i$的极限分布。

解：

$X_i$的均值和方差为$\mathrm{E}\left(X_i\right)=p_i,\mathrm{Var}\left(X_i\right)=p_i\left(1-p_i\right)$ ，对方差求和可得$s_n^2={\sum }_{i=1}^n{p}_i\left(1-p_i\right)$

计算

$\mathrm{E}{\left|X_i-\mathrm{E}\left(X_i\right)\right|}^3={\left(1-p_i\right)}^3{p}_i+p_i^3\left(1-p_i\right)\le 2p_i\left(1-p_i\right)$

可得Lyapunov’s 条件: ${\sum }_{i=1}^n\mathrm{E}{\left|X_i-{\mu }_i\right|}^3=o\left(s_n^3\right)$ 成立

综上，${\sum }_{i=1}^n{X}_i$为$AN({\sum }_{i=1}^n{p}_i,{\sum }_{i=1}^N{p}_i(1-p_i))$

双序列独立情形（Lindeberg-Feller& Lyapunov &Hájek-Sidak CLT）

以上为$X_i$不随$n$的变化而变化情形，当$X_i$的均值与方差与$n$有关时，（例如对于独立的$X_i$，均值为$\mu$，方差为${\sigma }_i^2=i^2{\sigma }^2$时，$\mu$的$BLUE$为 ${\hat{\mu }}_{\mathrm{B}\mathrm{L}\mathrm{U}\mathrm{E}}={\sum }_{i=1}^n{\sigma }_i^{-2}{X}_i/{\sum }_{i=1}^n{\sigma }_i^{-2}$,权重$w_i$与$n$有关），以上中心极限定理不可使用。下给出双序列下的中心极限定理。

定理5.3：（Lindeberg-Feller & Lyapunov 中心极限定理)设对每个 n ≥ 1 , { X n i , 1 ≤ i ≤ k n } n \geq 1,\left\{X_{n i}, 1 \leq i \leq k_{n}\right\} n≥1,{Xni​,1≤i≤kn​}, 独立且有均值 ${\mu }_{ni}$ 和有限方差 ${\sigma }_{ni}^2$. 令 $s_n^2={\sum }_{i=1}^{k_n}{\sigma }_{ni}^2$. 如果 Lindeberg-Feller 条件
1 s n 2 ∑ i = 1 k n E [ ( X n i − μ n i ) 2 1 { ∣ X n i − μ n i ∣ > ϵ n } ] → 0 , ∀ ϵ > 0 \frac{1}{s_{n}^{2}} \sum_{i=1}^{k_{n}} \mathrm{E}\left[\left(X_{n i}-\mu_{n i}\right)^{2} 1_{\left\{\left|X_{n i}-\mu_{n i}\right|>\epsilon_{n}\right\}}\right] \rightarrow 0, \forall \epsilon>0 sn2​1​i=1∑kn​​E[(Xni​−μni​)21{∣Xni​−μni​∣>ϵn​}​]→0,∀ϵ>0
或 Lyapunov 条件
$$\sum _{i=1}^{k_n}\mathrm{E}{\left|X_{ni}-{\mu }_{ni}\right|}^{2+\delta }=o\left(s_n^{2+\delta }\right),\exists \delta >0$$
成立，则
$$\sum _{i=1}^{k_n}{X}_{ni}\text{ is }AN\left(\sum _{i=1}^{k_n}{\mu }_{ni},s_n^2\right)$$

以上定理说明，若对于双序列情形随机变量，Lindeberg-Feller 或Lyapunov 成立，仍然可以说明随机向量的和是服从渐进正态分布的。

下提供一种计算更简便，但结论更严苛的条件。

定理5.4：(Hájek-Sidak)设 $X_i$ 独立同分布，均值为 $\mu$ ，方差有限为 ${\sigma }^2.$ 令 $w_n=\left(w_{n1},w_{n2},\dots ,w_{nn}\right)$ 为常向量且有
$$\underset{1\le i\le n}{\max }\frac{w_{ni}^2}{{\sum }_{j=1}^n{w}_{nj}^2}\to 0$$
$n\to \infty$.则 ${\sum }_{i=1}^n{w}_{ni}{X}_i$ 为$AN\left({\sum }_{i=1}^n{w}_{ni}\mu ,{\sum }_{i=1}^n{w}_{ni}^2{\sigma }^2\right)$.

定义 Hájek-Sidak条件 ：${\max }_{1\le i\le n}\frac{w_{ni}^2}{{\sum }_{j=1}^n{w}_{nj}^2}\to 0$

注： 可以理解为在常数向量$w_n$中，每一个元素$w_{n_i}$都不会主导$w_n$

多元Lindeberg-Feller CLT

定理5.5：设对任意 n ≥ 1 , { X n i , 1 ≤ i ≤ k n } n \geq 1,\left\{\boldsymbol{X}_{n i}, 1 \leq i \leq k_{n}\right\} n≥1,{Xni​,1≤i≤kn​} 独立且有均值 ${\mathbf{\mu }}_{ni}$ 和有限协方差阵 ${\Sigma }_{ni}$. 若 $k_n^{-1}{\sum }_{i=1}^{k_n}{\Sigma }_{ni}\to \Sigma$对有限正定阵 $\Sigma$ 和
k n − 1 ∑ i = 1 k n E [ ∥ X n i − μ n i ∥ 2 1 { ∥ x n i − μ n ∥ ∣ > ϵ k n } } ] → 0 ,  for every  ϵ > 0 \left.k_{n}{ }^{-1} \sum_{i=1}^{k_{n}} \mathrm{E}\left[\left\|\boldsymbol{X}_{n i}-\boldsymbol{\mu}_{n i}\right\|^{2} 1_{\left\{\left\|\boldsymbol{x}_{n i}-\boldsymbol{\mu}_{n}\right\|\right.} \mid>\epsilon \sqrt{\left.\mathrm{k}_{n}\right\}}\right\}\right] \rightarrow 0, \text { for every } \epsilon>0 kn​−1i=1∑kn​​E[∥Xni​−μni​∥21{∥xni​−μn​∥​∣>ϵkn​} ​}]→0, for every ϵ>0
成立，则渐进正态性成立。

随机数量和（Anscombe-Rényi CLT）

定理5.6：(Anscombe-Rényi)设 $X_i$ 为i.i.d. 随机变量且有均值 $\mu$，有限方差 ${\sigma }^2$. 令 $N_n$ 为一系列正整数随机变量 ， $a_n$ 为常数列且趋近于无穷，有 $N_n/a_n\stackrel{p}{\to }c$其中$c$正常数. 则有,

$$\sqrt{N_n}\left({\bar{X}}_{N_n}-\mu \right)\stackrel{d}{\to }N\left(0,{\sigma }^2\right)$$

m-相依序列

定义（m-相依)：对于平稳序列 { X i , i = 1 , … , n } \left\{X_{i}, i=1, \ldots, n\right\} {Xi​,i=1,…,n} ，和给定的m，如果当$j-i>m$时，$\left(X_1,X_2,\dots ,X_i\right)$ 和 $\left(X_j,X_{j+1},\dots ,X_n\right)$ 独立， 则称平稳序列 { X i , i = 1 , … , n } \left\{X_{i}, i=1, \ldots, n\right\} {Xi​,i=1,…,n} 为m-相依序列

例如：滑动平均序列为m-相依序列

定理5.7：设 { X i , i = 1 , … , n } \left\{X_{i}, i=1, \ldots, n\right\} {Xi​,i=1,…,n}为平稳m-相依序列。 令 $\mathrm{E}\left(X_i\right)=\mu$ 和 $\mathrm{Var}\left(X_i\right)={\sigma }^2<\infty .$ 则$\sqrt{n}\left({\bar{X}}_n-\mu \right)\stackrel{d}{\to }N\left(0,{\tau }^2\right)$, 其中 ${\tau }^2={\sigma }^2+2{\sum }_{k=1}^m{\gamma }_k$，

收敛速度（Berry-Esséen）

独立同分布

定理5.8（Berry-Esséen）：设 $X_i$ 为 i.i.d. 随机向量有均值 $\mu$, 方差 ${\sigma }^2$ 和$\mathrm{E}{\left|X_1-\mu \right|}^3<\infty$ 则存在与n和$X_i$分布无关的常数 $C$,使得
${\sup }_x\left|\mathrm{P}\left({\tilde{S}}_n\le x\right)-\Phi (x)\right|\le \frac{C}{\sqrt{n}}\frac{\mathrm{E}{|X_1-\mu |}^3}{{\sigma }^3}$ 对所有$n$成立。

仅独立

定理5.9：设 $X_i$ 独立，有均值${\mu }_i$, 方差${\sigma }_i^2$ 和 $\mathrm{E}{\left|X_i-{\mu }_i\right|}^3<\infty .$ 则存在与n和$X_i$分布无关的常数 $C^{\ast }$,使得
$$\underset{x}{\sup }\left|\mathrm{P}\left({\tilde{S}}_n\le x\right)-\Phi (x)\right|\le \frac{C^{\ast }{\sum }_{i=1}^n\mathrm{E}{\left|X_i-{\mu }_i\right|}^3}{{\left({\sum }_{i=1}^n{\sigma }_i^2\right)}^{3/2}}$$
对所有$n$成立

由定理5.8和5.9，可用来控制渐进误差的大小，即控制精度的大小。

以下定理5.10给出在点x的局部误差上界

定理5.10：设 $X_i$ 独立，有均值 ${\mu }_i$, 方差 ${\sigma }_i^2$, 和 $\mathrm{E}{\left|X_i-{\mu }_i\right|}^{2+\delta }<\infty$ $\exists 0<\delta \le 1$. 则
$$\left|\mathrm{P}\left({\tilde{S}}_n\le x\right)-\Phi (x)\right|\le \frac{C^{\ast \ast }}{1+|x{|}^{2+\delta }}\frac{{\sum }_{i=1}^n\mathrm{E}{\left|X_i-{\mu }_i\right|}^{2+\delta }}{{\left({\sum }_{i=1}^n{\sigma }_i^2\right)}^{1+\delta /2}}$$
其中 $C^{\ast \ast }$为与$n$和分布无关的常数.

Edgeworth展开

定义：

• $X$ 的矩母函数 (m.g.f.) 定义为 ${\psi }_{\mathbf{X}}(\mathbf{t})=\mathrm{E}\left\{\exp \left({\mathbf{t}}^{\top }\mathbf{X}\right)\right\}$

• 当 $0<{\psi }_{\mathbf{X}}(\mathbf{t})<\infty$时，$X$的累积量母函数 (c.g.f.) 定义为${\kappa }_{\mathbf{X}}(\mathbf{t})=\log {\psi }_{\mathbf{X}}(\mathbf{t})$ ，

定理5.11(Two-Term Edgeworth Expansion)：

设$X_1,X_2,\cdots \stackrel{i.i.d}{\sim }X$， $X$ 分布绝对连续，均值$\mu$、方差${\sigma }^2$和四阶矩 $\mathrm{E}\left(X^4\right)<\infty .$ 则$Z_n=\frac{\sqrt{n}({\bar{X}}_n-\mu )}{\sigma }$的分布函数可写为：
$$F_{Z_n}(x)=\Phi (x)+n^{-1/2}{p}_1(x)\varphi (x)+n^{-1}{p}_2(x)\varphi (x)+O\left(n^{-3/2}\right)$$
对 $x$一致成立, 其中 $p_1(x)=-\frac{1}{6}{\kappa }_3\left(x^2-1\right)$ ， $p_2(x)=-x\left\{\frac{1}{24}{\kappa }_4\left(x^2-3\right)+\frac{1}{72}{\kappa }_3^2\left(x^4-10x^2+15\right)\right\}$

Edgeworth展开可理解为中心极限定理的推广，独立和的高阶展开；类似于对于非随机函数的Taylor展开。