13.第四章 极限定理(2)

第四章 极限定理(2)

1.Lindeberg-Levy CLT

中心极限定理(CLT, central limit theorem)，揭露的是一般分布与正态分布的普遍性联系，这也侧面说明了正态分布在概率论中的重要意义。

CLT的一般定义如下：如果有一列随机变量 { ξ n } \{\xi_n\} {ξn​}，若存在常数列 { B n } > 0 \{B_n\}>0 {Bn​}>0和 { A n } \{A_n\} {An​}，使得
$$\frac{1}{B_n}\sum _{k=1}^n{\xi }_k-A_n\stackrel{d}{\to }N(0,1),$$
就称 { ξ n } \{\xi_n\} {ξn​}服从中心极限定理。

简单说来，中心极限定理指的是对于一系列随机变量之和，如果能通过一定的线性变换，使得变换后的随机变量依分布收敛于标准正态分布，则称这一系列随机变量服从CLT。当然，这里的$B_n,A_n$是可解析的，也就是给定一个$n$，能够直接写出$B_n,A_n$的值才行。将随机变量之和通过修饰变成标准正态分布，就可以通过查询标准正态分布表，来判断随机变量之和服从什么样的分布。

至于什么样的随机变量列服从中心极限定理，接下来有几个重要的定理来保证。

Lindeberg-Levy定理指出，对于一系列独立同分布的随机变量 { ξ n } \{\xi_n\} {ξn​}，记$S_n=\sum _{k=1}^n{\xi }_k.a=E{\xi }_i,{\sigma }^2=D{\xi }_i$，则中心极限定理以如下的形式成立：
$$\frac{S_n-na}{\sqrt{n}\sigma }\stackrel{d}{\to }N(0,1).$$
从形式上看，由于独立随机变量均值与方差的线性可加性，因此$na$和$\sqrt{n}\sigma$其实就是$S_n$的均值和标准差，这个定理的内容，就是独立同分布随机变量之和的标准化服从$N(0,1)$。为证明，需要用到特征函数工具，设$f(t)$是${\xi }_1-a$的特征函数，$f_n(t)$是$\frac{S_n-na}{\sqrt{n}\sigma }$的特征函数，从而由特征函数的可加性，有
$$f_n(t)={\left[f\left(\frac{t}{\sqrt{n}\sigma }\right)\right]}^n.$$
又因为$E({\xi }_i-a)=0,E({\xi }_1-a{)}^2={\sigma }^2$，所以对$f(t)$进行Taylor展开，得到
$$\begin{gathered} f(t)=f(0)+f^{\prime }(0)t+\frac{1}{2}{f}^{\prime \prime }(0)t^2+o(t^2), \\ f(0)=1,f^{\prime }(0)=0,f^{\prime \prime }(0)=i^2{\sigma }^2=-{\sigma }^2, \\ f(t/\sqrt{n}\sigma )=1-\frac{t^2}{2n}+o(t^2) \end{gathered}$$
如果将其看成关于$n$的多项式，则变成
$$f(t/\sqrt{n}\sigma )=1-\frac{t^2}{2n}+o(\frac{1}{n}).$$
当$n\to \infty$时，有
$$f_n(t)={\left(1-\frac{t^2}{2n}+o(\frac{1}{n})\right)}^n=e^{-\frac{t^2}{2}}$$
由于$N(a,{\sigma }^2)$的特征函数为$e^{iat-\frac{1}{2}{\sigma }^2{t}^2}$，所以上式正是$N(0,1)$的特征函数，也就证明了$\frac{S_n-na}{\sigma \sqrt{n}}\stackrel{d}{\to }N(0,1)$。

• 在此定理以前，已经有人对两点分布的情形做了如下判断，即$B(1,p)$的$S_n$满足
  $$\frac{S_n-np}{\sqrt{npq}}\stackrel{d}{\to }N(0,1).$$
  这被称为De Moivre-Laplace中心极限定理。

2.Lindeberg-Feller CLT

Lindeberg-Levy定理保证了独立同分布随机变量列的CLT成立，但如果随机变量列仅仅是独立，而不满足同分布呢？Lindeberg-Feller中心极限定理作出如下结论：对于独立随机变量序列 { ξ k } \{\xi_k\} {ξk​}，如果满足Lyapunov定理所要求的的条件，即
$$\exists \delta >0,\frac{{\sum }_{k=1}^{n}E|{\xi }_k-E{\xi }_k{|}^{2+\delta }}{({\sum }_{k=1}^{n}D{\xi }_k{)}^{1+\delta /2}}\to 0,$$
那么Lindeberg-Feller CLT成立，即
$$\frac{{\sum }_{k=1}^n({\xi }_k-E{\xi }_k)}{\sqrt{{\sum }_{k=1}^{n}D{\xi }_k}}\stackrel{d}{\to }N(0,1).$$
这个定理其实就是令$S_n=\sum _{k=1}^n{\xi }_k$，如果满足一定的条件，那么$\frac{S_n-E{S}_n}{\sqrt{D{S}_n}}\to N(0,1)$，条件就是Lyapunov定理所要求的。一般情况下，至多用到$\delta =1,2$的情况。

日后会在概率估计、参数估计、假设检验等方面都用到CLT，因此对CLT的形式，尤其是Lindeberg-Levy CLT要牢记。

3.(Weak )Law of Large Numbers

前面所提到的CLT，是将一列随机变量求和以后近似服从标准正态分布的定理，而这里的大数定律，只针对样本均值的收敛性作出结论。所谓样本均值，指的是对于一系列独立同分布的随机变量 { ξ i } \{\xi_i\} {ξi​}，由于每次试验相当于对一个${\xi }_i$进行观测，所以我们称${\xi }_i$是一个样本，样本均值指的就是$\frac{{\sum }_{i=1}^n{\xi }_i}{n}$，也就是对样本加总再除以样本容量。

这里要区分两个概念，对于随机变量，随机变量的均值是一个常数，但对于一系列样本，样本均值依然是一个随机变量。

由常识判断，样本均值一定会趋近于总体数学期望，而大数定律就解释了这个道理，接下来介绍几个重要的大数定律。

KhinChin大数定律针对一系列独立同分布随机变量列 { ξ n } \{\xi_n\} {ξn​}，这里$E{\xi }_i=\mu$，记$\sum _{i=1}^n{\xi }_i=S_n$，则有
$$\frac{S_n}{n}\stackrel{P}{\to }\mu .$$
证明依然可以用特征函数法，设$f(t)$是$\xi$的特征函数，$f_n(t)$是$\frac{S_n}{n}$的特征函数，则由特征函数的可加性，有$f_n(t)=[f(\frac{t}{n}){]}^n$。并且对$f(t)$进行Taylor展开，有
$$f(t)=1+i\mu t+o(t^2),$$
故以$n$为主变量，得到
$$\begin{gathered} f(\frac{t}{n})=1+\frac{i\mu t}{n}+o(\frac{1}{n}), \\ {f}_n(t)={\left(1+\frac{i\mu t}{n}+o(\frac{1}{n})\right)}^n\to e^{i\mu t}. \end{gathered}$$
而$f_n(t)=e^{i\mu t}$是退化分布（以概率1取值于单点）$\mu$的特征函数，所以有$\frac{S_n}{n}\stackrel{d}{\to }\mu$，又由于$\mu$是常数，所以有$\frac{S_n}{n}\stackrel{P}{\to }\mu$。

要是随机变量列独立，但不是同分布的，则有Chebyshev大数定律如下：对于随机变量列 { ξ n } \{\xi_n\} {ξn​}，这里$E{\xi }_i={\mu }_i,D{\xi }_i={\sigma }_i^2$，如果
$$\frac{\sum _{k=1}^n{\sigma }_k^2}{n^2}\to 0,$$
那么Chebyshev大数定律表现为样本均值依概率收敛到其均值（样本均值的均值），即
$$\frac{S_n}{n}\stackrel{P}{\to }E\left(\frac{S_n}{n}\right)=\frac{\sum _{k=1}^n{\mu }_k}{n}.$$
证明用到Chebyshev不等式，即考虑随机变量$\frac{1}{n}\sum _{k=1}^n{\xi }_k$，它的期望是$\frac{1}{n}\sum _{k=1}^n{\mu }_i$，方差是$\frac{1}{n^2}\sum _{k=1}^n{\sigma }_k^2$，有
$$P\left(|\frac{S_n}{n}-E\frac{S_n}{n}|\ge \epsilon )\right)\le \frac{D(\frac{S_n}{n})}{{\epsilon }^2}\to 0.$$

• 在此定理以前，已经有人对两点分布的情形做了如下判断，即$B(1,p)$的$S_n$满足
  $$\frac{S_n}{n}\stackrel{P}{\to }p,$$
  这被称为Bernoulli（弱）大数定律。

4.Strong Law of Large Numbers

既然弱大数定律是样本均值依概率收敛到总体均值，那么强大数定律就对收敛性进行了更高的要求，即以概率1收敛。

Kolmogorov强大数定律：设 { ξ n } \{\xi_n\} {ξn​}是独立同分布随机变量列，且$E{\xi }_i=\mu$。记$S_n=\sum _{k=1}^n{\xi }_k$，则
$$\frac{S_n}{n}\to \mu \text{a.s.}$$

• 在此定理以前，已经有人对两点分布的情形做了如下判断，即$B(1,p)$的$S_n$满足
  $$\frac{S_n}{n}\to p,\text{a.s.}$$
  这被称为Borel强大数定律。