概率论与数理统计系列笔记之第四章——大数定理与中心极限定理

概率论与数理统计笔记（第四章 大数定理与中心极限定理）

对于统计专业来说，书本知识总有遗忘，翻看教材又太麻烦，于是打算记下笔记与自己的一些思考，主要参考用书是茆诗松老师编写的《概率论与数理统计教程》，其他知识待后续书籍补充。

第四章 大数定理与中心极限定理

4.1 随机变量的两种收敛性

4.1.1 依概率收敛

定义 4.1.1 设 { X n } \left\{X_n\right\} {Xn​} 为一随机变量序列, $X$ 为一随机变量, 如果对任意的 $\epsilon >0$, 有
$$P\left(\left|X_n-X\right|⩾\epsilon \right)\to 0(n\to \infty ),$$
则称序列 { X n } \left\{X_n \}\right. {Xn​} 依概率收敛于 $X$, 记作 $X_n\stackrel{P}{⟶}X$.
以下我们先给出依概率收敛于常数的四则运算性质.

定理 4.1.1 设 $\left|X_n\right|,\left|Y_n\right|$ 是两个随机变量序列, $a,b$ 是两个常数. 如果
$$X_n\stackrel{P}{⟶}a,Y_n\stackrel{P}{⟶}b,$$则有
(1) $X_n\pm Y_n\stackrel{P}{⟶}a\pm b$;
(2) $X_n\times Y_{\mathrm{n}}\stackrel{P}{⟶}a\times b$;
(3) $X_n÷Y_n\stackrel{P}{⟶}a÷b(b\ne 0)$.

4.1.2 按分布收敛、弱收敛

定义 4.1.2
设随机变量 $X,X_1,X_2,\cdots$ 的分布函数分别为 $F(x),F_1(x)$, $F_2(x),\cdots$, 若对 $F(x)$ 的任一连续点 $x$, 都有
$$\underset{n\to \infty }{\lim }{F}_n(x)=F(x),$$
则称 { F n ( x ) } \left\{F_n(x)\right\} {Fn​(x)} 弱收敛于 $F(x)$, 记作

$$F_n(x)\stackrel{W}{⟶}F(x).$$
也称 { X n } \left\{X_n\right\} {Xn​} 按分布收敛于 $X$, 记作
$$X_n\stackrel{L}{⟶}X.$$

下面的定理说明依概率收敛是一种比按分布收敛更强的收敛性.

定理 4.1.2 $X_n\stackrel{P}{⟶}X⟹X_n\stackrel{L}{⟶}X$.

定理 4.1.3 若 $c$ 为常数, 则 $X_n\stackrel{P}{⟶}c$ 的充要条件是: $X_n\stackrel{L}{⟶}c$.

4.2 特征函数

设 $p(x)$ 是随机变量 $X$ 的密度函数, 则 $p(x)$ 的傅里叶变换是
$$\phi (t)={\int }_{-\infty }^{\infty }{\mathrm{e}}^{ix}p(x)\mathrm{d}x,$$
其中 $\mathrm{i}=\sqrt{-1}$ 是虚数单位. 由数学期望的概念知, $\phi (t)$ 恰好是 $E\left({\mathrm{e}}^{\mathrm{i}x}\right)$.

4.2.1 特征函数的定义

复随机变量定义为 $Z=Z(w)=X(w)+\mathrm{i}Y(w)$, 其中 $X(w)$ 与 $Y(w)$ 是定义在 $\Omega$ 上的实随机变量. 而 $\bar{Z}(w)=X(w)-\mathrm{i}Y(w)$ 称为 $Z(w)$ 的复共轭随机变量.
复随机变量 $Z=X+iY$ 的模 $|Z|$ 定义为 $\sqrt{X^2+Y^2}$, 或 $|Z{|}^2=X^2+Y^2$, 且 $Z\bar{Z}=X^2+Y^2=|Z{|}^2$.
与随机变量有关的一些概念和定义, 一般都可类似地移到随机变量场合. 例如, 若随机变量 $X$ 与 $Y$ 的数学期望 $E(X)$ 与 $E(Y)$ 都存在, 则复随机变量 $Z=$ $X+iY$ 的数学期望定义为 $E(Z)=E(X)+iE(Y)$. 又如复随机变量 $Z_1=X_1+i{Y}_1$ 与 $Z_2=X_2+\mathrm{i}{Y}_2$ 相互独立当且仅当 $\left(X_1,Y_1\right)$ 与 $\left(X_2,Y_2\right)$ 相互独立. 在欧拉公式 ${\mathrm{e}}^{iX}=$ $\cos X+\mathrm{i}\sin X$ 中若 $X$ 是实随机变量, 则 $E\left({\mathrm{e}}^{iX}\right)=E(\cos X)+\mathrm{i}E(\sin X)$, 其模$\left|{\mathrm{e}}^{iX}\right|=\sqrt{{\cos }^{2}X+{\sin }^{2}X}=1.$ 若 $X$ 与 $Y$独立, 则 ${\mathrm{e}}^{ix}$ 与 ${\mathrm{e}}^{iY}$ 也独立.

定义 4.2.1
设 $X$ 是一个随机变量,称
$$\phi (t)=E\left({\mathrm{e}}^{itx}\right),-\infty <t<\infty ,$$
为 $X$ 的特征函数.

当离散随机变量 $X$ 的分布列为 $p_k=P\left(X=x_k\right),k=1,2，\cdots$, 则 $X$ 的特征函数为
$$\phi (t)=\sum _{k=1}^{\infty }{\mathrm{e}}^{it{x}_k}{p}_k,-\infty <t<\infty .$$
当连续随机变量 $X$ 的密度函数为 $p(x)$, 则 $X$ 的特征函数为
$$\phi (t)={\int }_{-\infty }^{\infty }{\mathrm{e}}^{itx}p(x)\mathrm{d}x,-\infty <t<\infty .$$

例 4.2.1 常用分布的特征函数
(1) 单点分布 $P(X=a)=1$, 其特征函数为
$$\phi (t)=e^{it}\text{. }$$
(2) 0-1 分布 $P(X=x)=p^x(1-p{)}^{1-x},x=0,1$, 其特征函数为
$$\phi (t)=p{\mathrm{e}}^{\mathrm{i}\mathrm{t}}+q\text{, 其中 }q=1-p\text{. }$$
(3) 泊松分布 $P(\lambda )P(X=k)=\frac{{\lambda }^k}{k!}{\mathrm{e}}^{-\lambda },k=0,1,\cdots$, 其特征函数为
$$\phi (t)=\sum _{i=0}^{\infty }{\mathrm{e}}^{\mathrm{i}tk}\frac{{\lambda }^k}{k!}{\mathrm{e}}^{-\lambda }={\mathrm{e}}^{-\lambda }{\mathrm{e}}^{\lambda {\mathbf{\lambda }}^i}={\mathrm{e}}^{\lambda ({\mathrm{e}}^{it-1}).}.$$
（4）均匀分布 $U(a,b)$ 因为密度函数为
$$p(x)=\{\begin{array}{cl}\frac{1}{b-a},& a<x<b,\\ 0,& \text{ 其他, }\end{array}$$

所以其特征函数为
$$\phi (t)={\int }_a^b\frac{e^{itx}}{b-a}\mathrm{d}x=\frac{e^{\mathrm{i}\mathrm{b}\mathrm{t}}-{\mathrm{e}}^{\mathrm{i}\mathrm{a}\mathrm{t}}}{\mathrm{i}t(b-a)}.$$
(5) 标准正态分布 $N(0,1)$ 因为密度函数为
$$p(x)=\frac{1}{\sqrt{2\pi }}{\mathrm{e}}^{-\frac{x^2}{2}},-\infty <x<\infty ,$$
所以其特征函数为
$$\begin{array}{rl}\phi (t)& =\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^{\infty }{\mathrm{e}}^{\mathrm{i}tx}{\mathrm{e}}^{-\frac{x^2}{2}}\mathrm{d}x=\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^{\infty }\sum _{n=0}^{\infty }\frac{(\mathrm{i}tx{)}^n}{n!}{\mathrm{e}}^{-\frac{x^2}{2}}\mathrm{d}x\\ & =\sum _{n=0}^{\infty }\frac{(\mathrm{i}t{)}^n}{n!}\left[\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^{\infty }{x}^n{\mathrm{e}}^{-\frac{x^2}{2}}\mathrm{d}x\right],\end{array}$$
上式中方括号内正是标准正态分布的 $n$ 阶矩 $E\left(X^n\right)$. 当 $n$ 为奇数时 $E\left(X^n\right)=0$; 当 $n$ 为偶数时, 如 $n=2m$ 时,
$$E\left(X^n\right)=E\left(X^{2m}\right)=(2m-1)!!=\frac{(2m)!}{2^m\cdot m!},$$
代回原式, 可得标准正态分布的特征函数
$$\phi (t)=\sum _{m=0}^{\infty }\frac{(\mathrm{i}t{)}^{2m}}{(2m)!}\cdot \frac{(2m)!}{2^m\cdot m!}=\sum _{m=0}^{\infty }{\left(-\frac{t^2}{2}\right)}^m\frac{1}{m!}={\mathrm{e}}^{-\frac{t^2}{2}}$$

(6) 指数分布 $\mathrm{Exp}(\lambda )$ 因为密度函数为
$$p(x)=\{\begin{array}{ll}\lambda {\mathrm{e}}^{-\lambda x},& x>0,\\ 0,& x⩽0,\end{array}$$
所以其特征函数为
$$\begin{array}{r}\phi (t)={\left(1-\frac{\mathrm{i}t}{\lambda }\right)}^{-1}.\end{array}$$

4.2.2 特征函数的性质

性质 4.2.1 $|\phi (t)|⩽\phi (0)=1$.
性质 4.2.2 $\phi (-t)=\overline{\phi (t)}$, 其中 $\overline{\phi (t)}$ 表示 $\phi (t)$ 的共轭.
性质 4.2.3 若 $Y=aX+b$, 其中 $a,b$ 是常数, 则
$${\phi }_y(t)={\mathrm{e}}^{ibt}{\phi }_X(at).$$
性质 4.2.4 独立随机变量和的特征函数为每个随机变量的特征函数的积, 即设 $X$ 与 $Y$ 相互独立, 则
$${\phi }_{X,Y}(t)={\phi }_X(t){\phi }_Y(t).$$
性质 4.2.5 若 $E\left(X^l\right)$ 存在, 则 $X$ 的特征函数 $\phi (t)$ 可 $l$ 次求导, 且对 $1⩽k⩽l$, 有
$${\phi }^{(k)}(0)={\mathrm{i}}^{k}E\left(X^k\right).$$
上式提供了一条求随机变量的各阶矩的途径,特别可用下式去求数学期望 和方寿.
$$E(X)=\frac{{\phi }^{\prime }(0)}{\mathrm{i}},\mathrm{Var}(X)=-{\phi }^{\prime \prime }(0)+{\left({\phi }^{\prime }(0)\right)}^2.$$
例 $4.2.2$ 常用分布的特征函数（二)
(1) 二项分布 $b(n,p)$ 设随机变量 $Y\sim b(n,p)$, 则 $Y=X_1+X_2+\cdots +X_n$, 其中 诸 $X_i$ 是相互独立同分布的随机变量, 且 $X_i\sim b(1,p)$. 由例 $4.2.1$ (2) 知
$${\phi }_{X_i}(t)=p{\mathrm{e}}^{\mathrm{i}\mathrm{t}}+q.$$
所以由独立随机变量和的特征函数为特征函数的积, 得
$${\phi }_Y(t)={\left(p{\mathrm{e}}^{it}+q\right)}^n.$$
(2) 正态分布 $N\left(\mu ,{\sigma }^2\right)$ 设随机变量 $Y\sim N\left(\mu ,{\sigma }^2\right)$, 则 $X=(Y-\mu )/\sigma \sim$ $N(0,1)$. 由例 $4,2,1$ 知
$${\phi }_x(t)={\mathrm{e}}^{-\frac{{\mathrm{t}}^2}{2}}.$$
所以由 $Y=\sigma X+\mu$ 和性质 $4.2.3$ 得
$${\phi }_Y(t)={\phi }_{\sigma X+\mu }(t)={\mathrm{e}}^{i\mu t}{\phi }_X(\sigma t)=\exp \left\{i\mu t-\frac{{\sigma }^2{t}^2}{2}\right\}.$$
(3) 伽玛分布 $Ga(n,\lambda )$ 设随机变量 $Y\sim Ga(n,\lambda )$, 则 $Y=X_1+X_2+\cdots +X_n$, 其 中 $X_i$ 独立同分布, 且 $X_i\sim \mathrm{Exp}(\lambda )$. 由例 4.2.1 知
$${\phi }_{X_i}(t)={\left(1-\frac{\mathrm{i}t}{\lambda }\right)}^{-1}.$$
所以由独立随机变量和的特征函数为特征函数的积,得
$${\phi }_{\gamma }(t)={\left({\phi }_{X_1}(t)\right)}^n={\left(1-\frac{\mathrm{i}t}{\lambda }\right)}^{-n}.$$
(4) ${\chi }^2(n)$ 分布 因为 ${\chi }^2(n)=Ga(n/2,1/2)$, 所以 ${\chi }^2(n)$ 分布的特征函数为 $\phi (t)=(1-2it{)}^{-n/2}$.

定理 4.2.1(一致连续性) 随机变量 $X$ 的特征函数 $\phi (t)$ 在 $(-\infty ,\infty )$ 上一 致连续.

定理 4.2.2(非负定性) 随机变量 $X$ 的特征函数 $\phi (t)$ 是非负定的, 即对任意正整数 $n$ 及 $n$ 个实数 $t_1,t_2,\cdots ,t_n$ 和 $n$ 个复数 $z_1,z_2,\cdots ,z_n$, 有
$$\sum _{k=1}^n\sum _{j=1}^n\phi \left(t_k-t_j\right)z_k{\bar{z}}_j⩾0.$$

4.2.3 特征函数唯一决定分布函数

定理 4.2.3 (逆转公式) 设 $F(x)$ 和 $\phi (t)$ 分别为随机变量 $X$ 的分布函数和特征函数, 则对 $F(x)$ 的任意两个连续点 $x_1<x_2$, 有
$$F\left(x_2\right)-F\left(x_1\right)=\underset{T\to \infty }{\lim }\frac{1}{2\pi }{\int }_{-T}^T\frac{{\mathrm{e}}^{-it{x}_1}-{\mathrm{e}}^{-\mathrm{i}\mathrm{t}{x}_2}}{\mathrm{i}t}\phi (t)\mathrm{d}t.$$

定理 4.2.4 (唯一性定理) 随机变量的分布函数由其特征函数唯一决定.

定理 4.2.5 若 $X$ 为连续随机变量, 其密度函数为 $p(x)$, 特征函数为 $\phi (t)$. 如果 ${\int }_{-\infty }^{\infty }|\phi (t)|\mathrm{d}t<\infty$, 则
$$p(x)=\frac{1}{2\pi }{\int }_{-\infty }^{\infty }{\mathrm{e}}^{-itx}\phi (t)\mathrm{d}t.$$

定理 4.2.6 分布函数序列 { F n ( x ) } \{F_n(x)\} {Fn​(x)} 次收敛于分布函数 $F(x)$ 的充要条件是 { F n ( x ) } \{F_n(x) \} {Fn​(x)}的特征函数序列 { φ n ( t ) } \left.\{ \varphi_n(t)\right\} {φn​(t)} 收敛于 $F(x)$ 的特征函数 $\phi (t)$.

4.3 大数定理

4.3.1 伯努利大数定律

记 $s_n$ 为 $n$ 重伯努利试验中事件 $A$ 出现的次数,称 $\frac{s_n}{n}$ 为事件 $A$ 出现的频率. 如果记一次试验中 $A$ 发生的概率为 $p$, 则 $s_n$ 服从二项分布 $b(n,p)$, 因此频 率 $\frac{s_n}{n}$ 的数学期望与方差分别为
$$E\left(\frac{s_n}{n}\right)=p,\mathrm{Var}\left(\frac{s_n}{n}\right)=\frac{p(1-p)}{n}.$$

定理 4.3.1 (伯努利大数定律) 设 $s_n$ 为 $n$ 重伯努利试验中事件 $A$ 发生的次 数, $p$ 为每次试验中 $A$ 出现的概率, 则对任意的 $\epsilon >0$, 有
$$\underset{n\to \infty }{\lim }P\left(\left|\frac{s_n}{n}-p\right|<\epsilon \right)=1.$$

4.3.2 常用的几个大数定律

一、大数定律的一般形式
定义 4.3.1
设有一随机变量序列 { X n } \{X_n\} {Xn​}, 假如它具有形如$$\underset{n\to \infty }{\lim }P\left(\left|\frac{1}{n}\sum _{i=1}^n{X}_i-\frac{1}{n}\sum _{i=1}^{n}E\left(X_i\right)\right|<\epsilon \right)=1.(4.3.5)$$的性质, 则称该随机变量序列 { X n } \left\{X_n\right\} {Xn​} 服从大数定律.

二、切比雪夫大数定律

定理 4.3.2 (切比雪夫大数定律)
设 { X n } \left\{X_n \right\} {Xn​} 为一列两两不相关的随机变量序列, 若每个 $X_i$ 的方差存在, 且有共同的上界, 即 $\mathrm{Var}\left(X_i\right)⩽c,i=1,2,\cdots$, 则 { X n } \{X_n\} {Xn​} 服从大数定律, 即对任意的 $\epsilon >0,$式(4.3.5)成立.

三、马尔可夫大数定律

定理 4.3.3 (马尔可夫大数定律) 对随机变量序列 { X n } \left\{X_n\right\} {Xn​}, 若
$$\frac{1}{n^2}\mathrm{Var}\left(\sum _{i=1}^n{X}_i\right)\to 0,$$成立, 则 { X n } \left\{X_n \}\right. {Xn​} 服从大数定律, 即对任意的 $\epsilon >0,$式(4.3.5)成立.

四、辛钦大数定律

定理 4.3.4 (辛钦大数定律) 设 { X n } \{X_n\} {Xn​} 为一独立同分布的随机变量序列, 若 $X_i$ 的数学期望存在, 则 { X n } \left\{X_n\right\} {Xn​} 服从大数定律, 即对任意的 $\epsilon >0,(4.3.5)$ 式成立.

4.4 中心极限定理

4.4.1 独立随机变量和

中心极限定理就是研究随机变量和的极限分布在什么条件下为正态分布的问题.

4.4.2 独立同分布下的中心极限定理

定理 4.4.1 (林德伯格-莱维 (Lindeberg-Lévy) 中心极限定理) 设 { X n } \left\{X_n \}\right. {Xn​} 是独立同分布的随机变量序列, 且 $E\left(X_i\right)=\mu ,\mathrm{Var}\left(X_i\right)={\sigma }^2>0$ 存在, 若记
$$Y_n^{\ast }=\frac{X_1+X_2+\cdots +X_n-n\mu }{\sigma \sqrt{n}},$$
则对任意实数 $y$, 有
$$\underset{n\to \infty }{\lim }P\left(Y_n^{\ast }⩽y\right)=\Phi (y)=\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^y{\mathrm{e}}^{-\frac{t^2}{2}}\mathrm{d}t.$$

4.4.3 二项分布的正态近似

由林德伯格-莱维中心极限定理, 马上就可以得到下面的棣莫弗-拉普拉斯中心极限定理.

定理 4.4.2 (棣莫弗-拉普拉斯中心极限定理) 设 $n$ 重伯努利试验中, 事件$A$在每次试验中出现的概率为 $p(0<p<1)$, 记 $s_n$ 为 $n$ 次试验中事件 $A$ 出现的次数, 且记
$$Y_n^{\ast }=\frac{s_n-np}{\sqrt{npq}}.$$
则对任意实数 $y$, 有
$$\underset{n\to \infty }{\lim }P\left(Y_n^{\ast }⩽y\right)=\Phi (y)=\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^y{\mathrm{e}}^{-\frac{t^2}{2}}\mathrm{d}t.$$

棣莫弗-拉普拉斯中心极限定理是概率论历史上的第一个中心极限定理.它是专门针对二项分布的, 因此称为 “二项分布的正态近似”. 前面第二章中定理 2.4.1 (泊松定理) 给出了“二项分布的泊松近似”. 两者相比, 一般在 $p$ 较小时, 用 泊松分布近似较好; 而在 $np>5$ 和 $n(1-p)>5$时, 用正态分布近似较好.

下面在给出棣莫弗 -拉普拉斯中心极限定理的应用之前, 先说明两点:
（1）因为二项分布是离散分布,而正态分布是连续分布, 所以用正态分布作为二项分布的近似计算中, 作些修正可以提高精度. 若 $k_1<k_2$ 均为整数, 一般先作如下修正后再用正态近似 $P\left(k_1⩽s_n⩽k_2\right)=P(k_1-0.5<s_n<$ $k_2+0.5)$.

(2) 对于二项分布的计算, 用修正的正态近似还可得
$$\begin{array}{rl}& P(s_n=k)\\ & =P(k-0.5<s_n<k+0.5)\\ & =P\left(\frac{k-0.5-np}{\sqrt{npq}}<\frac{s_n-np}{\sqrt{npq}}<\frac{k+0.5-np}{\sqrt{npq}}\right)\end{array}$$

在中心极限定理的应用中, 若记 $\beta =\Phi (y)$, 则由棣莫弗 $-$ 拉普拉斯中心极限定理给出的近似式
$$P\left(Y_n^{\ast }⩽y\right)\approx \Phi (y)=\beta ,$$
可用来解决三类计算问题: (1) 已知 $n,y$ 求 $\beta$; (2) 已知 $n,\beta$ 求 $y$; (3) 已知 $y,\beta$ 求 $n$.

4.4.4 独立不同分布下的中心极限定理

只要对任意的 $\tau >0$, 有
$$\underset{n\to \infty }{\lim }\frac{1}{{\tau }^2{B}_n^2}\sum _{i=1}^n{\int }_{|x-{\mu }_{}|>\tau B_n}{\left(x-{\mu }_i\right)}^2{p}_i(x)\mathrm{d}x=0,(4.4.5)$$
就可保证 $Y_n^{\ast }$ 中各加项“均匀地小”.上述条件 (4.4.5) 称为林德伯格条件.

定理 4.4.3 (林德伯格中心极限定理) 设独立随机变量序列 $\left|X_n\right|$ 满足林德伯格条件, 则对任意的 $x$, 有
$$\underset{n\to \infty }{\lim }P\left(\frac{1}{B_n}\sum _{i=1}^n\left(X_i-{\mu }_i\right)⩽x\right)=\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^x{e}^{-i^2/2}\mathrm{d}t.$$

假如独立随机变量序列 { X n } \left\{X_n\right\} {Xn​} 具有同分布和方差有限的条件, 则必定满足以上 (4.4.5) 林德伯格条件, 也就是说定理 4.4.1 是定理 4.4.3 的特例.

林德伯格条件虽然比较一般,但该条件较难验证,下面的李雅普诺夫( Lyapunov) 条件则比较容易验证, 因为它只对矩提出要求, 因而便于应用.

定理 4.4.4 (李雅普诺夫中心极限定理) 设 { X n } \{X_n\} {Xn​} 为独立随机变量序列, 若存 在 $\delta >0$, 满足
$$\underset{n\to \infty }{\lim }\frac{1}{B_n^{2+\delta }}\sum _{i=1}^{n}E\left({\left|X_i-{\mu }_i\right|}^{2+\delta }\right)=0,$$
则对任意的 $x$, 有
$$\underset{n\to \infty }{\lim }P\left(\frac{1}{B_n}\sum _{i=1}^n\left(X_t-{\mu }_i\right)⩽x\right)=\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^x{e}^{-t^{2/2}}\mathrm{d}t.$$