【概率论】期中复习笔记（下）：大数定律与中心极限定理

第五章 大数定律与中心极限定理

1. 随机变量的收敛性

(1) 依概率收敛

定义1 设 { X n , n = 1 , 2 , ⋯   } \{X_n,n=1,2,\cdots\} {Xn​,n=1,2,⋯}是随机变量序列，$X$也是一个随机变量，若 ∀ ε > 0 , lim ⁡ n → ∞ P { ∣ X n − X ∣ ≥ ε } = 0 \forall\varepsilon>0,\lim\limits_{n\to\infty}P\{|X_n-X|\ge\varepsilon\}=0 ∀ε>0,n→∞lim​P{∣Xn​−X∣≥ε}=0则称随机变量序列 { X n } \{X_n\} {Xn​}依概率收敛于$X$，记作$(p)\underset{n\to \infty }{\lim }{X}_n=X$或者$X_n\stackrel{P}{\to }X$。

依概率收敛表明：随机变量$X_n$对$X$的绝对偏差不小于任意给定正数（即$\epsilon$）的概率随着$n$增大而越来越接近于$0$。

上述定义也等价于 ∀ ε > 0 , lim ⁡ n → ∞ P { ∣ X n − X ∣ < ε } = 1 \forall\varepsilon>0,\lim\limits_{n\to\infty}P\{|X_n-X|<\varepsilon\}=1 ∀ε>0,n→∞lim​P{∣Xn​−X∣<ε}=1。

特别地，当随机变量$X$为单点分布，即 P { X = a } = 1 P\{X=a\}=1 P{X=a}=1，则称序列$X_n$依概率收敛于$a$，即$X_n\stackrel{P}{\to }a$。

依概率收敛于常数的随机变量序列的性质：
(1) $(p)\underset{n\to \infty }{\lim }{X}_n=a,(p)\underset{n\to \infty }{\lim }{Y}_n=b,g(x,y)$在点$(a,b)$处连续$⟹(p)\underset{n\to \infty }{\lim }g(X_n,Y_n)=g(a,b)$
(2) $(p)\underset{n\to \infty }{\lim }(X_n\pm Y_n)=a\pm b$
(3) $(p)\underset{n\to \infty }{\lim }{X}_n{Y}_n=ab$
(4) $(p)\underset{n\to \infty }{\lim }\frac{X_n}{Y_n}=\frac{a}{b}(Y_n\ne 0,b\ne 0)$

一般地，依概率收敛的随机变量序列也具有四则运算性质。

(2) 依分布收敛

定义2 设 { X n , n = 1 , 2 , ⋯   } \{X_n,n=1,2,\cdots\} {Xn​,n=1,2,⋯}为随机变量序列，其对应的分布函数序列为 { F n ( x ) , n = 1 , 2 , ⋯   } \{F_n(x),n=1,2,\cdots\} {Fn​(x),n=1,2,⋯}，$X$是另一随机变量，其分布函数为$F(x)$。若对$F(x)$的每个连续点$x$，有$\underset{n\to \infty }{\lim }{F}_n(x)=F(x)$，则称随机变量序列 { X n } \{X_n\} {Xn​}依分布收敛于$X$，记作$X_n\stackrel{d}{\to }X$，或称分布函数序列 { F n ( x ) , n = 1 , 2 , ⋯   } \{F_n(x),n=1,2,\cdots\} {Fn​(x),n=1,2,⋯}弱收敛于$F(x)$，记作$F_n(x)\stackrel{w}{\to }F(x)$。

2. 大数定律

(1) 马尔可夫不等式

定理3（马尔可夫不等式） 设$X$为随机变量，若$E(|X{|}^r)$有限，其中$r>0$为实数，则 ∀ ε > 0 , P { ∣ X ∣ ≥ ε } ≤ E ( ∣ X ∣ r ) ε r \forall\varepsilon>0,P\{|X|\ge\varepsilon\}\le\frac{E(|X|^r)}{\varepsilon^r} ∀ε>0,P{∣X∣≥ε}≤εrE(∣X∣r)​部分证明：
当$X$为连续型随机变量时，设$X$的概率密度为$f(x)$，则 P { ∣ X ∣ ≥ ε } = ∫ ∣ x ∣ ≥ ε f ( x ) d x P\{|X|\ge\varepsilon\}=\int\limits_{|x|\ge\varepsilon}f(x)\text{d}x P{∣X∣≥ε}=∣x∣≥ε∫​f(x)dx因为在积分范围内$|x|\ge \epsilon$，故$\frac{|x{|}^r}{{\epsilon }^r}\ge 1$，于是$$\underset{|x|\ge \epsilon }{\int }f(x)\text{d}x\le \underset{|x|\ge \epsilon }{\int }\frac{|x{|}^r}{{\epsilon }^r}f(x)\text{d}x$$其中${\epsilon }^r$为常数，提出来就得到$$\underset{|x|\ge \epsilon }{\int }\frac{|x{|}^r}{{\epsilon }^r}f(x)\text{d}x=\frac{1}{{\epsilon }^r}\underset{|x|\ge \epsilon }{\int }|x{|}^{r}f(x)\text{d}x$$把积分范围扩大到$(-\infty ,+\infty )$，积分值也会变大，故$$\frac{1}{{\epsilon }^r}\underset{|x|\ge \epsilon }{\int }|x{|}^{r}f(x)\text{d}x\le \frac{1}{{\epsilon }^r}{\int }_{-\infty }^{+\infty }|x{|}^{r}f(x)\text{d}x=\frac{E(|X{|}^r)}{{\epsilon }^r}$$综上， P { ∣ X ∣ ≥ ε } ≤ E ( ∣ X ∣ r ) ε r P\{|X|\ge\varepsilon\}\le\frac{E(|X|^r)}{\varepsilon^r} P{∣X∣≥ε}≤εrE(∣X∣r)​。

当$X$为离散型随机变量时，证明过程类似： P { ∣ X ∣ ≥ ε } = ∑ ∣ x i ∣ ≥ ε p i ≤ ∑ ∣ x i ∣ ≥ ε ∣ x ∣ r ε r p i ≤ ∑ i ∣ x ∣ r ε r p i = 1 ε r ∑ i ∣ x ∣ r p i = E ( ∣ X ∣ r ) ε r \begin{aligned}P\{|X|\ge\varepsilon\}&=\sum\limits_{|x_i|\ge\varepsilon}p_i\\ &\le\sum\limits_{|x_i|\ge\varepsilon}\frac{|x|^r}{\varepsilon^r}p_i\\ &\le\sum\limits_{i}\frac{|x|^r}{\varepsilon^r}p_i=\frac{1}{\varepsilon^r}\sum\limits_{i}|x|^rp_i\\ &=\frac{E(|X|^r)}{\varepsilon^r}\end{aligned} P{∣X∣≥ε}​=∣xi​∣≥ε∑​pi​≤∣xi​∣≥ε∑​εr∣x∣r​pi​≤i∑​εr∣x∣r​pi​=εr1​i∑​∣x∣rpi​=εrE(∣X∣r)​​其他情况的证明从略。∎

(2) 切比雪夫不等式

定理4（切比雪夫不等式） 若随机变量$X$存在数学期望$E(X)$和方差$D(X)$，则$\forall \epsilon >0$， P { ∣ X − E ( X ) ∣ ≥ ε } ≤ D ( X ) ε 2 P\{|X-E(X)|\ge\varepsilon\}\le\frac{D(X)}{\varepsilon^2} P{∣X−E(X)∣≥ε}≤ε2D(X)​或等价地有 P { ∣ X − E ( X ) ∣ < ε } ≥ 1 − D ( X ) ε 2 P\{|X-E(X)|<\varepsilon\}\ge1-\frac{D(X)}{\varepsilon^2} P{∣X−E(X)∣<ε}≥1−ε2D(X)​证明：在马尔可夫不等式中以$X-E(X)$代$X$并令$r=2$即可。∎

(3) 切比雪夫大数定律

定理5（切比雪夫大数定律） 设 { X n , n = 1 , 2 , ⋯   } \{X_n,n=1,2,\cdots\} {Xn​,n=1,2,⋯}是相互独立的随机变量序列，且分别存在数学期望$E(X_k)$和方差$D(X_k)(k=1,2,\cdots )$。若存在常数$C$，使得$\forall k=1,2,\cdots$都有$D(X_k)\le C$（即序列 { D ( X k ) } \{D(X_k)\} {D(Xk​)}有界），则$$\forall \epsilon >0,\underset{n\to \infty }{\lim }P\left\{\left|\frac{1}{n}\sum _{k=1}^n{X}_k-\frac{1}{n}\sum _{k=1}^{n}E(X_k)\right|\le \epsilon \right\}=1$$证明：令$Y_n=\frac{1}{n}\sum _{k=1}^n{X}_k$，则由切比雪夫不等式可得下面的不等式 1 ≥ P { ∣ Y n − E ( X n ) ∣ < ε } ≥ 1 − D ( Y n ) ε 2 ≥ 1 − C n ε 2 1\ge P\{|Y_n-E(X_n)|<\varepsilon\}\ge 1-\frac{D(Y_n)}{\varepsilon^2}\ge 1-\frac{C}{n\varepsilon^2} 1≥P{∣Yn​−E(Xn​)∣<ε}≥1−ε2D(Yn​)​≥1−nε2C​其中第一个$\ge$是显然的（概率的定义），第二个$\ge$由切比雪夫不等式的第二种形式得出，第三个$\ge$由$C$的定义得出。
那么，令$n\to \infty$，由数列极限的夹逼准则知 1 ≥ lim ⁡ n → ∞ P { ∣ Y n − E ( X n ) ∣ < ε } ≥ lim ⁡ n → ∞ 1 − C n ε 2 = 1 1\ge\lim\limits_{n\to\infty}P\{|Y_n-E(X_n)|<\varepsilon\}\ge\lim\limits_{n\to\infty}1-\frac{C}{n\varepsilon^2}=1 1≥n→∞lim​P{∣Yn​−E(Xn​)∣<ε}≥n→∞lim​1−nε2C​=1故 lim ⁡ n → ∞ P { ∣ Y n − E ( X n ) ∣ < ε } = 1 \lim\limits_{n\to\infty}P\{|Y_n-E(X_n)|<\varepsilon\}=1 n→∞lim​P{∣Yn​−E(Xn​)∣<ε}=1注意到$E(Y_n)=E\left(\frac{1}{n}\sum _{k=1}^n{X}_k\right)=\frac{1}{n}\sum _{k=1}^{n}E(X_k)$，把$Y_n$和$E(Y_n)$的表达式代入上式即证明了该定理。∎

推论6 设 { X n , n = 1 , 2 , ⋯   } \{X_n,n=1,2,\cdots\} {Xn​,n=1,2,⋯}是相互独立的随机变量序列，且存在相同的数学期望$E(X_k)=\mu$和方差$D(X_k)={\sigma }^2(k=1,2,\cdots )$，则$$\forall \epsilon >0,\underset{n\to \infty }{\lim }P\left\{\left|\frac{1}{n}\sum _{k=1}^n{X}_k-\mu \right|<\epsilon \right\}=1$$这表明，对于一个概率分布未知的随机变量$X$，为了估算$E(X)$我们可以做$n$重观测试验，第$k$次试验结果为$X_k$，每个$X_k$是独立同分布的，那么当$n$充分大时，$\forall \epsilon >0,P\left\{\left|\frac{1}{n}\sum _{k=1}^n{X}_k-\mu \right|<\epsilon \right\}$会越来越接近$1$，故$E(X)$可以由这$n$次试验结果的算术平均值估计。

(4) 伯努利大数定律

定理7（伯努利大数定律） 设$n_A$是$n$次独立重复试验中事件$A$发生的次数，$p$是事件$A$在每次试验发生的概率，则$\forall \epsilon >0$，$$\underset{n\to \infty }{\lim }P\left\{\left|\frac{n_A}{n}-p\right|<\epsilon \right\}=1$$或$$\underset{n\to \infty }{\lim }P\left\{\left|\frac{n_A}{n}-p\right|\ge \epsilon \right\}=0$$证明：引入随机变量$X_k=\{\begin{array}{ll}1,& \text{第}k\text{次试验中}A\text{发生}\\ 0,& \text{第}k\text{次试验中}A\text{不发生}\end{array}$，$k=1,2,\cdots$，显然$n_A=X_1+X_2+\cdots +X_n$。又显然$X_1,X_2,\cdots ,X_n$是相互独立的，且$E(X_k)=p$，$D(X_k)=p(1-p)(k=1,2,\cdots )$。根据推论6，得$$\underset{n\to \infty }{\lim }P\left\{\left|\frac{1}{n}\sum _{k=1}^n{X}_k-p\right|<\epsilon \right\}=1$$即$$\underset{n\to \infty }{\lim }P\left\{\left|\frac{n_A}{n}-p\right|<\epsilon \right\}=1$$∎

此定律表明，当试验次数很大时，便可以用事件发生的频率近似替代事件发生的概率。

(5) 辛钦大数定律

定理8（辛钦大数定律） 设 { X n , n = 1 , 2 , ⋯   } \{X_n,n=1,2,\cdots\} {Xn​,n=1,2,⋯}是独立同分布的随机变量序列，且$E(X_k)=\mu (k=1,2,\cdots )$存在，则$$\forall \epsilon >0,\underset{n\to \infty }{\lim }P\left\{\left|\frac{1}{n}\sum _{k=1}^n{X}_k-\mu \right|<\epsilon \right\}=1$$即$\frac{1}{n}\sum _{k=1}^n{X}_k\stackrel{P}{\to }\mu$。

辛钦大数定律取消了切比雪夫大数定律对方差的苛刻要求，而以“独立同分布”作为补偿。

3. 中心极限定理

(1) 独立同分布中心极限定理

定理9（独立同分布中心极限定理） 设 { X n , n = 1 , 2 , ⋯   } \{X_n,n=1,2,\cdots\} {Xn​,n=1,2,⋯}是独立同分布的随机变量序列，且有有限的数学期望和方差：$E(X_k)=\mu$，$D(X_k)={\sigma }^2\ne 0(k=1,2,\cdots )$，则随机变量$$Y_n=\frac{\sum _{k=1}^n{X}_k-E\left(\sum _{k=1}^n{X}_k\right)}{\sqrt{D\left(\sum _{k=1}^n{X}_k\right)}}=\frac{\sum _{k=1}^n{X}_k-n\mu }{\sqrt{n}\sigma }$$的分布函数$F_n(x)$对任意实数$x$，都有$$\underset{n\to \infty }{\lim }{F}_n(x)=\underset{n\to \infty }{\lim }P\left\{\frac{\sum _{k=1}^n{X}_k-n\mu }{\sqrt{n}\sigma }\le x\right\}={\int }_{-\infty }^x\frac{1}{\sqrt{2\pi }}{e}^{-\frac{t^2}{2}}\text{d}t=\Phi (x)$$由此定理可知，当$n$很大时，以下关系近似成立：
(1) $Y_n\text{~}N(0,1)$
(2) $\sum _{k=1}^n{X}_k\text{~}N(n\mu ,n{\sigma }^2)$
(3) $\overline{X}=\frac{1}{n}\sum _{k=1}^n{X}_k\text{~}N\left(\mu ,\frac{{\sigma }^2}{n}\right)$

这篇文章中的一段文字概括地十分形象：

(2) 棣莫弗-拉普拉斯中心极限定理

定理10（棣莫弗-拉普拉斯中心极限定理） 设随机变量${\eta }_n(n=1,2,\cdots )$服从参数为$n,p(0<p<1)$的二项分布，则对于任意区间$(a,b]$，恒有$$\underset{n\to \infty }{\lim }P\left\{a<\frac{{\eta }_n-np}{\sqrt{np(1-p)}}\le b\right\}={\int }_a^b\frac{1}{\sqrt{2\pi }}{e}^{-\frac{t^2}{2}}\text{d}t=\Phi (b)-\Phi (a)$$证明：将${\eta }_n$分解为$n$个相互独立且服从(0-1)分布的随机变量$X_1,X_2,\cdots ,X_n$之和，即${\eta }_n=X_1+X_2+\cdots +X_n$，其中$X_k\text{~}B(1,p)(k=1,2,\cdots )$。由于$E(X_k)=p,D(X_k)=p(1-p)$，故由定理9（独立同分布中心极限定理）有$$\underset{n\to \infty }{\lim }P\left\{\frac{{\eta }_n-np}{\sqrt{np(1-p)}}\le x\right\}=\underset{n\to \infty }{\lim }P\left\{\frac{\sum _{k=1}^n{X}_k-np}{\sqrt{np(1-p)}}\le x\right\}=\Phi (x)$$于是对于任意区间$(a,b]$有$$\underset{n\to \infty }{\lim }P\left\{a<\frac{{\eta }_n-np}{\sqrt{np(1-p)}}\le b\right\}={\int }_a^b\frac{1}{\sqrt{2\pi }}{e}^{-\frac{t^2}{2}}\text{d}t$$∎

这个定理表明，二项分布的极限分布是正态分布。

补充——泊松大数定律

定理11（泊松大数定律） 若事件$A$在第$k$次试验中发生的概率为$p_k(k=1,2,\cdots ,n,\cdots )$且各次试验是独立进行的，$m$表示$n$次试验中事件$A$发生的次数，则$$\forall \epsilon >0,\underset{n\to \infty }{\lim }P\left\{\left|\frac{m}{n}-\frac{1}{n}\sum _{k=1}^n{p}_k\right|<\epsilon \right\}=1$$证明：引入随机变量$X_k=\{\begin{array}{ll}1,& \text{第}k\text{次试验中}A\text{发生}\\ 0,& \text{第}k\text{次试验中}A\text{不发生}\end{array}$，$k=1,2,\cdots$，显然$m=X_1+X_2+\cdots +X_n$， P { X = 1 } = p k P\{X=1\}=p_k P{X=1}=pk​，$E(X_k)=p_k$，$D(X_k)=p_k(1-p_k)$有界。则由定理5（切比雪夫大数定律）有$$\forall \epsilon >0,\underset{n\to \infty }{\lim }P\left\{\left|\frac{1}{n}\sum _{k=1}^n{X}_k-\frac{1}{n}\sum _{k=1}^{n}E(X_k)\right|\le \epsilon \right\}=1$$将$m=\sum _{k=1}^n{X}_k$，$E(X_k)=p_k$代入得$$\forall \epsilon >0,\underset{n\to \infty }{\lim }P\left\{\left|\frac{m}{n}-\frac{1}{n}\sum _{k=1}^n{p}_k\right|<\epsilon \right\}=1$$证毕。∎

整理

大数定律

设大数定律的内容是 ∀ ε > 0 , lim ⁡ n → ∞ P { ∣ A − B ∣ < ε } = 1 \forall\varepsilon>0,\lim\limits_{n\to\infty}P\left\{|A-B|<\varepsilon\right\}=1 ∀ε>0,n→∞lim​P{∣A−B∣<ε}=1并令$\overline{X}=\frac{1}{n}\sum _{k=1}^n{X}_k$，$\overline{E(X)}=\frac{1}{n}\sum _{k=1}^{n}E(X_k)$。
那么有下面的表格：

大数定律	条件	$A$	$B$
切比雪夫大数定律	相互独立、$E(X_k)$存在、$D(X_k)$有界	$\overline{X}$	$\overline{E(X)}$
伯努利大数定律	$n$次独立重复试验（各$X_k$独立同分布）、事件$A$发生概率为$p$	$\overline{X}=\frac{n_A}{n}$	$E(X_k)=p$
辛钦大数定律	各$X_k$独立同分布、期望$E(X_k)=\mu$存在	$\overline{X}$	$E(X_k)=\mu$
泊松大数定律	相互独立、事件$A$在第$k$次试验中发生的概率为$p_k$	$\overline{X}=\frac{m}{n}$	$\overline{E(X)}=\frac{1}{n}\sum _{k=1}^n{p}_k$

中心极限定理

$Z=\frac{X-\mu }{\sigma }\text{~}N(0,1)⟹X\text{~}N(\mu ,{\sigma }^2)$。做题的时候注意分母是$\sigma$，不是${\sigma }^2$！血泪教训！

中心极限定理	条件	结论（当$n$足够大时近似成立）
独立同分布中心极限定理	有有限的数学期望$E(X_k)=\mu$和方差$D(X_k)={\sigma }^2\ne 0$	$\overline{X}\text{~}N\left(\mu ,\frac{{\sigma }^2}{n}\right),\sum _{k=1}^n{X}_k\text{~}N\left(n\mu ,n{\sigma }^2\right)$
棣莫弗-拉普拉斯中心极限定理	${\eta }_n\text{~}B(n,p)$	$\overline{X}\text{~}N\left(p,\frac{p(1-p)}{n}\right),{\eta }_n\text{~}N(np,np(1-p))$

参考数目

《概率论与数理统计》施雨等编