数学基础之概率论（5）——大数定律与中心极限定理

数学基础之概率论（5）——大数定律与中心极限定理

1、切比雪夫定理（特殊）
a. 定理：设随机变量$X_1,X_2,\dots ,X_n,\dots$相互独立，且具有相同的数学期望和方差：$E(X_k)=\mu ,D(X_k)={\sigma }^2(k=1,2,3,\dots )$，作前$n$个随机变量的算术平均$\overline{X}=\frac{1}{n}{\sum }_{k=1}^n{X}_k$，则对于任意正数$\epsilon$有
lim ⁡ n → ∞ P { ∣ X ‾ − μ ∣ < ε } = lim ⁡ n → ∞ P { ∣ 1 n ∑ k = 1 n X k − μ ∣ < ε } = 1 \lim_{n\to\infty}P\{|\overline{X}-\mu|<\varepsilon\}=\lim_{n\to\infty}P\{|\frac{1}{n}\sum_{k=1}^{n}X_{k}-\mu|<\varepsilon\}=1 limn→∞​P{∣X−μ∣<ε}=limn→∞​P{∣n1​∑k=1n​Xk​−μ∣<ε}=1

b. 表达式含义： { ∣ X ‾ − μ ∣ < ε } \{|\overline{X}-\mu|<\varepsilon\} {∣X−μ∣<ε}是一个随机事件，等式表明，当$n\to \infty$时，这个事件的概率趋于$1$，即对于任意正数$\epsilon$，当$n$充分大时，不等式$|\overline{X}-\mu |<\epsilon$成立的概率很大。

c. 定理证明：
$E(\frac{1}{n}{\sum }_{k=1}^n{X}_k)=\frac{1}{n}{\sum }_{k=1}^{n}E(X_k)=\frac{1}{n}\cdot n\mu =\mu ,$
$D(\frac{1}{n}{\sum }_{k=1}^n{X}_k)=\frac{1}{n^2}{\sum }_{k=1}^{n}D(X_k)=\frac{1}{n^2}\cdot n{\sigma }^2=\frac{{\sigma }^2}{n},$
由切比雪夫不等式可得
P { ∣ 1 n ∑ k = 1 n X k − μ ∣ < ε } ⩾ 1 − σ 2 ε 2 n , P\{|\frac{1}{n}\sum_{k=1}^{n}X_{k}-\mu|<\varepsilon\}\geqslant1-\frac{\sigma^{2}}{\varepsilon^{2}n}, P{∣n1​∑k=1n​Xk​−μ∣<ε}⩾1−ε2nσ2​,
在上式中令$n\to \infty$，并注意到概率不能大于$1$，则
P { ∣ 1 n ∑ k = 1 n X k − μ ∣ < ε } = 1 P\{|\frac{1}{n}\sum_{k=1}^{n}X_{k}-\mu|<\varepsilon\}=1 P{∣n1​∑k=1n​Xk​−μ∣<ε}=1

d. 定理说明：
当$n$很大时，随机变量$X_1,X_2,\dots ,X_n$的算术平均$\frac{1}{n}{\sum }_{k=1}^n{X}_k$接近于数学期望$E(X_1)=E(X_2)=\cdots =E(X_k)=\mu ,$（这个接近指概率意义下的接近），即在定理条件下，$n$个随机变量的算术平均，当$n$无限增加时，几乎变为一个常数。因此，该定理还可以如此叙述：
设随机变量$X_1,X_2,\dots ,X_n,\dots$相互独立，且具有相同的数学期望和方差：$E(X_k)=\mu ,D(X_k)={\sigma }^2(k=1,2,3,\dots )$，则$X_1,X_2,\dots ,X_n(n\to \infty )$依概率收敛于$\mu$。（“依概率收敛”：设$Y_1,Y_2,\dots ,Y_n$是一个随机变量序列，$a$是一个常数，若对于任意正数$\epsilon$有 lim ⁡ n → ∞ P { ∣ Y n − a ∣ < ε } = 1 \lim_{n\to\infty}P\{|Y_{n}-a|<\varepsilon\}=1 limn→∞​P{∣Yn​−a∣<ε}=1，则称序列$Y_1,Y_2,\dots ,Y_n$依概率收敛于$a$，记为$Y_n\stackrel{p}{⟶}a$）

e. 依概率收敛序列的性质：
设$X_n\stackrel{p}{⟶}a,Y_n\stackrel{p}{⟶}b$，又设函数$g(x,y)$在点$(a,b)$连续，则$g(X_n,Y_n)\stackrel{p}{⟶}g(a,b)$。
证明：$\because g(x,y)$在$(a,b)$连续，$\forall \epsilon >0,\exists \delta >0,s.t.$当$|x-a|+|y-b|<\delta$时，$|g(x,y)-g(a,b)|<\epsilon ,$
∴ { ∣ g ( X n , Y n ) − g ( a , b ) ∣ ⩾ ε } ⊂ { ∣ X a − a ∣ + ∣ Y n − b ∣ ⩾ δ } ⊂ { ∣ X n − a ∣ ⩾ δ 2 } ∪ { ∣ Y n − b ∣ ⩾ δ 2 } , \therefore\{|g(X_{n},Y_{n})-g(a,b)|\geqslant\varepsilon\}\subset\{|X_{a}-a|+|Y_{n}-b|\geqslant\delta\}\subset\{|X_{n}-a|\geqslant\frac{\delta}{2}\}\cup\{|Y_{n}-b|\geqslant\frac{\delta}{2}\}, ∴{∣g(Xn​,Yn​)−g(a,b)∣⩾ε}⊂{∣Xa​−a∣+∣Yn​−b∣⩾δ}⊂{∣Xn​−a∣⩾2δ​}∪{∣Yn​−b∣⩾2δ​},
∴ P { ∣ g ( X n , Y n ) − g ( a , b ) ∣ ⩾ ε } ⩽ P { ∣ X n − a ∣ ⩾ δ 2 } + P { ∣ Y n − b ∣ ⩾ δ 2 } ⟶ n → ∞ 0 , \therefore P\{|g(X_{n},Y_{n})-g(a,b)|\geqslant\varepsilon\}\leqslant P\{|X_{n}-a|\geqslant\frac{\delta}{2}\}+P\{|Y_{n}-b|\geqslant\frac{\delta}{2}\}\stackrel{n\to\infty}{\longrightarrow}0, ∴P{∣g(Xn​,Yn​)−g(a,b)∣⩾ε}⩽P{∣Xn​−a∣⩾2δ​}+P{∣Yn​−b∣⩾2δ​}⟶n→∞​0,
∴ lim ⁡ n → ∞ P { ∣ g ( X n , Y n ) − g ( a , b ) ∣ < ε } = 1 \therefore\lim_{n\to\infty}P\{|g(X_{n},Y_{n})-g(a,b)|<\varepsilon\}=1 ∴limn→∞​P{∣g(Xn​,Yn​)−g(a,b)∣<ε}=1，证毕。

2、贝努利大数定理
a. 定理：设$n_A$是$n$次独立重复试验中事件$A$发生的次数，$p$是事件$A$在每次试验中发生的概率，则对于任意正数$\epsilon >0$，有 lim ⁡ n → ∞ P { ∣ n A n − p ∣ < ε } = 1 \lim_{n\to\infty}P\{|\frac{n_{A}}{n}-p|<\varepsilon\}=1 limn→∞​P{∣nnA​​−p∣<ε}=1或 lim ⁡ n → ∞ P { ∣ n A n − p ∣ ⩾ ε } = 0 \lim_{n\to\infty}P\{|\frac{n_{A}}{n}-p|\geqslant\varepsilon\}=0 limn→∞​P{∣nnA​​−p∣⩾ε}=0。

b. 定理证明：
引入随机变量$X_k=\{\begin{array}{l}0\\ \\ 1\end{array}$，$0$ 代表在第$k$次试验中$A$不发生，$1$ 则代表发生，$k=1,2,3,\dots$，
显然，$n_A=X_1+X_2+\cdots +X_n,$
$\because X_1,X_2,\dots ,X_n$是相互独立的，且$X_k$服从以$p$为参数的(0-1)分布，
$\therefore E(X_k)=p,D(X_k)=p(1-p),k=1,2,3,\dots ,$
$\therefore$根据切比雪夫定理，有 P { ∣ 1 n ( X 1 + X 2 + ⋯ + X n ) − p ∣ < ε } = 1 P\{|\frac{1}{n}(X_{1}+X_{2}+\cdots+X_{n})-p|<\varepsilon\}=1 P{∣n1​(X1​+X2​+⋯+Xn​)−p∣<ε}=1，即 lim ⁡ n → ∞ P { ∣ n A n − p ∣ < ε } = 1 \lim_{n\to\infty}P\{|\frac{n_{A}}{n}-p|<\varepsilon\}=1 limn→∞​P{∣nnA​​−p∣<ε}=1。

c. 定理说明：
贝努利定理表明事件发生的频率$\frac{n_A}{n}$依概率收敛于事件的概率$p$，它以严格的数学形式表现了频率的稳定性。因此，当$n$很大时，事件发生的频率与概率偏差较大的可能性很小，这一点实用性很强，因为当试验次数很大时，我们可以用事件发生的频率来代替事件的概率。

3、辛钦定理
a. 定理：设随机变量$X_1,X_2,\dots ,X_n,\dots$相互独立，服从同一分布，且具有数学期望$E(X_k)=\mu (k=1,2,3,\dots )$，则对于任意正数$\epsilon$，有 lim ⁡ n → ∞ P { ∣ 1 n ∑ k = 1 n X k − μ ∣ < ε } = 1 \lim_{n\to\infty}P\{|\frac{1}{n}\sum_{k=1}^{n}X_{k}-\mu|<\varepsilon\}=1 limn→∞​P{∣n1​∑k=1n​Xk​−μ∣<ε}=1。

b. 定理说明：
$(1)$ 与切比雪夫定理相比，不要求方差存在；
$(2)$ 贝努利定理是辛钦定理的特殊情况。

c. 推论：设$X_1,X_2,\dots ,X_n,\dots$为独立同分布的随机变量序列，$E(X_1^k)<+\infty$，则$\frac{1}{n}{\sum }_{i=1}^n{X}_i^k\stackrel{p}{⟶}E(X_1^k)$
证明：令$Y_n=X_n^k,n=1,2,3,\dots ,$显然$Y_1,Y_2,\dots ,Y_n,\dots$也是独立同分布的随机变量序列，且$E(Y_n)=E(X_n^k),n=1,2,3,\dots$，对序列$Y_1,Y_2,\dots ,Y_n,\dots$运用辛钦大数定律，得
$\frac{1}{n}{\sum }_{i=1}^n{Y}_i=\frac{1}{n}{\sum }_{i=1}^n{X}_i^k\stackrel{p}{⟶}E(Y_1)=E(X_1^k)$。

4、中心极限定理
a. 独立同分布的中心极限定理
设随机变量$X_1,X_2,\dots ,X_n,\dots$相互独立，服从同一分布，且具有数学期望和方差：$E(X_k)=\mu ,D(X_k)={\sigma }^2>0(k=1,2,3,\dots )$，则随机变量之和的标准化变量
$Y_n=\frac{{\sum }_{k=1}^n{X}_k-E({\sum }_{k=1}^n{X}_k)}{\sqrt{D({\sum }_{k=1}^n{X}_k)}}=\frac{{\sum }_{k=1}^n{X}_k-n\mu }{\sqrt{n}\sigma }$
的分布函数$F_n(x)$对于任意$x$满足
lim ⁡ n → ∞ F n ( x ) = lim ⁡ n → ∞ P { ∑ k = 1 n X k − n μ n σ ⩽ x } = ∫ − ∞ x 1 2 π e − t 2 2 d t = Φ ( x ) \lim_{n\to\infty}F_{n}(x)=\lim_{n\to\infty}P\{\frac{\sum_{k=1}^{n}X_{k}-n\mu}{\sqrt{n}\sigma}\leqslant x\}=\int_{-\infty}^{x}\frac{1}{\sqrt{2\pi}}e^{-\frac{t^{2}}{2}}dt=\Phi(x) limn→∞​Fn​(x)=limn→∞​P{n ​σ∑k=1n​Xk​−nμ​⩽x}=∫−∞x​2π ​1​e−2t2​dt=Φ(x)。
该定理表明：当$n\to \infty$，随机变量序列$Y_n$的分布函数收敛于标准正态分布的分布函数。

b. 德莫佛-拉普拉斯定理
设随机变量${\eta }_n(n=1,2,3,\dots )$服从参数为$n,p(0<p<1)$的二项分布，则对于任意$x$，恒有
lim ⁡ n → ∞ P { η n − n p n p ( 1 − P ) ⩽ x } = ∫ − ∞ x 1 2 π e − t 2 2 d t = Φ ( x ) \lim_{n\to\infty}P\{\frac{\eta_{n}-np}{\sqrt{np(1-P)}}\leqslant x\}=\int_{-\infty}^{x}\frac{1}{\sqrt{2\pi}}e^{-\frac{t^{2}}{2}}dt=\Phi(x) limn→∞​P{np(1−P) ​ηn​−np​⩽x}=∫−∞x​2π ​1​e−2t2​dt=Φ(x).。
证明：易知${\eta }_n={\sum }_{k=1}^n{X}_k$，其中$X_1,X_2,\dots ,X_n$是相互独立的、服从同一(0-1)分布的随机变量，分布律为 P { X k = i } = p i ( 1 − p ) 1 − i ,    i = 0 , 1 P\{X_{k}=i\}=p_{i}(1-p)^{1-i},\space\space i=0,1 P{Xk​=i}=pi​(1−p)1−i,  i=0,1。
$\because E(X_k)=p,D(X_k)=p(1-p),k=1,2,3,\dots ,n$
$\therefore$ 根据独立同分布中心极限定理，有
lim ⁡ n → ∞ P { η n − n p n p ( 1 − p ) ⩽ x } = lim ⁡ n → ∞ P { ∑ k = 1 n X k − n p n p ( 1 − p ) ⩽ x } = ∫ − ∞ x 1 2 π e − t 2 2 d t = Φ ( x ) \lim_{n\to\infty}P\{\frac{\eta_{n}-np}{\sqrt{np(1-p)}}\leqslant x\}=\lim_{n\to\infty}P\{\frac{\sum_{k=1}^{n}X_{k}-np}{\sqrt{np(1-p)}}\leqslant x\}=\int_{-\infty}^{x}\frac{1}{\sqrt{2\pi}}e^{-\frac{t^{2}}{2}}dt=\Phi(x) limn→∞​P{np(1−p) ​ηn​−np​⩽x}=limn→∞​P{np(1−p) ​∑k=1n​Xk​−np​⩽x}=∫−∞x​2π ​1​e−2t2​dt=Φ(x)。
该定理表明：正态分布是二项分布的极限分布，当$n$充分大时，可以利用该定理来计算二项分布的概率。