第六章 极限定理（概率论）

第六章 极限定理

6.1 大数定律 Law of large numbers

6.1.1 切比雪夫不等式

• 切比雪夫不等式：对任意 $\epsilon >0$，
  $$P(|X-E(X)|<\epsilon )\ge 1-\frac{D(X)}{{\epsilon }^2}$$

  • 证明：设 $X$ 有密度函数 $f(x)$
    $$\begin{array}{rl}P(|X-E(X)|\ge \epsilon )& ={\int }_{|x-E(X)|\ge \epsilon }f(x)dx\\ (放大被积函数)& \le {\int }_{|x-E(X)|\ge \epsilon }\frac{[X-E(X){]}^2}{{\epsilon }^2}f(x)dx\\ (放大积分限)& \le \frac{1}{{\epsilon }^2}{\int }_{-\infty }^{+\infty }[X-E(X){]}^{2}f(x)dx\\ & =\frac{D(X)}{{\epsilon }^2}\end{array}$$

  • 说明：事件 $(|X-E(X)|\ge \epsilon )$ 的概率与 $D(X)$ 有关，且 $D(X)$（即 $X$ 取值集中在期望 $E(X)$ 周围的程度）越小，这个事件概率应越大。

  • 作用：已知 $E(X),D(X)$，而未知 $X$ 分布时，可对事件 $(|X-E(X)|\ge \epsilon )$ 发生的概率进行估计。

  • 缺点：误差较大

• 随机变量序列的收敛性：

  • 依概率收敛：对 $\forall \epsilon >0$，有 $\underset{n\to \infty }{\lim }P(|X_n-a|<\epsilon )=1$，则称随机变量序列 $X_1,X_2,...,X_n$ 依概率收敛于常数 $a$，记为 $X_n\stackrel{P}{\to }a$

  • 区别：

    1. 数列收敛 $x_n\to a$：$\forall \epsilon >0,\exists N$，当 $n>N$ 时，有 $|x_n-a|<\epsilon$
    2. 随机变量序列收敛 $X_n\stackrel{P}{\to }a$：$\forall \epsilon >0,\exists N$，当 $n>N$ 时，有 { ∣ X n − a ∣ < ε } = { X n ∈ δ ( a , ε ) } \{|X_n-a|<\varepsilon\}=\{X_n\in \delta(a,\varepsilon)\} {∣Xn​−a∣<ε}={Xn​∈δ(a,ε)}.

  • $例题$： ( X , Y ) ∼ N ( 2 , − 1 ; 1 , 4 ; − 0.5 ) , P { ∣ X + Y ∣ ≥ 6 } ≤    _ _ ? _ _ (X,Y)\sim N(2,-1;1,4;-0.5),P\{|X+Y|\ge 6\}\le \;\_\_?\_\_ (X,Y)∼N(2,−1;1,4;−0.5),P{∣X+Y∣≥6}≤__?__

    解：
    E ( X + Y ) = 0 , D ( X + Y ) = 1 + 4 + 2 × ( − 0.5 ) × 2 × 1 = 3 P { ∣ X + Y ∣ ≥ 6 } ≤ D ( X ) ε 2 = 3 36 = 1 12 E(X+Y)=0,D(X+Y)=1+4+2\times (-0.5)\times 2\times 1=3\\ P\{|X+Y|\ge 6\}\le\dfrac{D(X)}{\varepsilon^2}=\dfrac{3}{36}=\dfrac{1}{12} E(X+Y)=0,D(X+Y)=1+4+2×(−0.5)×2×1=3P{∣X+Y∣≥6}≤ε2D(X)​=363​=121​

• 切比雪夫不等式的应用：随机变量序列 { X n } , n = 1 , 2 , . . . \{X_n\},n=1,2,... {Xn​},n=1,2,...，若 $E(X_n)={\mu }_n,D(X_n)={\sigma }_n^2$ 存在，且满足 $n\to \infty$，有 ${\sigma }^2\to 0$，则$X_n-{\mu }_n\stackrel{P}{\to }0$

  • 证明：$1\ge P(|X_n-{\mu }_n|<\epsilon )\ge 1-\frac{{\sigma }_n^2}{{\epsilon }^2}$ 两边取极限即可

6.1.2 大数定律

大数定律研究对象：${\xi }_n=\frac{1}{n}\sum _{i=1}^n{X}_i$

大数定律常用工具：切比雪夫不等式

大数定律本质：$\frac{1}{n}\sum _{i=1}^n{X}_i\stackrel{P}{\to }E(\frac{1}{n}\sum _{i=1}^n{X}_i)$

大数定律成立的约束条件：一二阶矩存在；方差趋于零

意义：平均使得稳定；规律的产生是大量独立或弱相关因素累计的结果。

• 切比雪夫大数律：对独立随机变量 { X n } \{X_n\} {Xn​} 若满足

  1. $E(X_n),D(X_n)$ 都存在

  2. 方差有限，即存在常数 $C$，使得 $D(X_k)\le C$，则有 $\frac{1}{n}\sum _{k=1}^n{X}_k-\frac{1}{n}\sum _{k=1}^{n}E(X_k)\stackrel{P}{\to }0$

  • 证明：令 $Y_n=\frac{1}{n}\sum _{k=1}^n{X}_k$，则
    $$\begin{array}{rl}E(Y_n)& =E\left(\frac{1}{n}\sum _{k=1}^n{X}_k\right)=\frac{1}{n}E\left(\sum _{k=1}^n{X}_k\right)=\frac{1}{n}\sum _{k=1}^{n}E\left(X_k\right),\\ D(Y_n)& =D\left(\frac{1}{n}\sum _{k=1}^n{X}_k\right)=\frac{1}{n^2}D\left(\sum _{k=1}^n{X}_k\right)\\ & =\frac{1}{n^2}\left[\sum _{k=1}^{n}D(X_k)+2\sum _{1\le i<j\le n}{r}_{ij}\sqrt{D(X_i)}\sqrt{D(X_j)}\right]\stackrel{i.i.d.}{=}\frac{D(X_n)}{n}\\ 故& 当n⟶\infty 时，D(y_n)⟶0,有Y_n-E(Y_n)\stackrel{P}{\to }0.\\ 即& \frac{1}{n}\sum _{k=1}^n{X}_k-\frac{1}{n}\sum _{k=1}^{n}E(X_k)\stackrel{P}{\to }0\end{array}$$

• 独立同分布大数律：记 $\overline{X}=\frac{1}{n}\sum _{k=1}^n{X}_k$，则 $\overline{X}\stackrel{P}{\to }E(X_k)$，其中 $(X_k)=E(\overline{X})$。

  • 说明：$n$ 充分大时，$\overline{X}$ 在概率意义下取值充分接近 $X_k$ 的共同期望。故实际问题可用 $\overline{X}$ 估计 $E(X_k)$，即多次测量求平均作为期望值。

• 伯努利大数律：$n$ 次伯努利实验中， $f_n(A)\stackrel{P}{\to }p$，其中 $f_n(A)=\frac{n_A}{n}$ 为事件 $A$ 发生的频率， $p=P(A)$ 为 $A$ 发生的概率。

  • 说明：频率 $f_n(A)$ 的稳定值 $P(A)$ 实际上是频率依概率收敛于 $P(A)$。故 $n$ 较大时，可用事件频率估计事件发生概率。

6.2 中心极限定理 Central Limit Theorems

中心极限定理研究对象：独立的随机变量之和

中心极限定理本质：任意独立同分布的随机变量之和的极限分布是正态分布

• 林德伯格-列维中心极限定理(独立同分布)：独立同分布的随机变量序列 { X k } \{X_k\} {Xk​} 有 $E(X_k)=\mu ,D(X_k)={\sigma }^2>0,k=1,2,...$，记 $Y_n=\frac{\sum _{k=1}^n{X}_k-n\mu }{\sqrt{n}\sigma }=\frac{\frac{1}{n}\sum _{k=1}^n{X}_k-\mu }{\frac{\sigma }{\sqrt{n}}}$，则对任意 $x\in R$，有
  $$\underset{n\to \infty }{\lim }{F}_n(x)=\underset{n\to \infty }{\lim }P(Y_n\le x)=\Phi (x)$$

  • 说明：独立同分布的随机变量之和 $S_n=\sum _{k=1}^n{X}_k$ 标准化后 $Y_n=\frac{S_n-E(S_n)}{\sqrt{D(S_n)}}$ 的分布函数的极限函数是标准正态分布。

  • 应用：当 $n⟶\infty$ 时，
    $$\begin{gathered} \sum _{k=1}^n{X}_k\sim N(n\mu ,n{\sigma }^2) \\ \frac{1}{n}\sum _{k=1}^n{X}_k\sim N(\mu ,\frac{{\sigma }^2}{n}) \\ \sum _{k=1}^{n}g(X_i)\sim N((g(X)),nD(g(X))) \\ P(a<\sum _{k=1}^n{X}_k\le b)\approx \Phi (\frac{b-n\mu }{\sqrt{n}\sigma })-\Phi (\frac{a-n\mu }{\sqrt{n}\sigma }) \end{gathered}$$

• 棣莫弗-拉普拉斯中心极限定理(二项分布)：随机变量序列 { X k } ∼ B ( n , p ) , q = 1 − p \{X_k\}\sim B(n,p),q=1-p {Xk​}∼B(n,p),q=1−p，则对任意 $x\in R$，有
  $$\underset{n\to \infty }{\lim }P(\frac{X_n-np}{\sqrt{npq}}\le x)=\Phi (x)$$

  • 说明：二项分布的渐近正态性

  • 推论：$X\sim B(n,p)$，当 $n⟶\infty$ 时，有 $P(a<X\le b)\approx \Phi (\frac{b-np}{\sqrt{npq}})-\Phi (\frac{a-np}{\sqrt{npq}})$

  • $例题$：某厂生产的产品中，一等品率为 $80\%$，用中心极限定理完成

    （1）若一盒产品装有 $100$ 个，求一盒中至少有 $85$ 个一等品的概率

    ​ 解：
    $$\begin{gathered} X\sim B(100,0.8),则np=80,npq=16,近似地X\sim N(80,16) \\ 设X为一等品数量 \\ \therefore P(X\ge 85)\approx 1-\Phi (\frac{85-80}{\sqrt{16}})=1-\Phi (1.25)=1-0.8944=0.1056 \end{gathered}$$
    （2）设一盒装有 $n$ 个产品，若要求至少有 $70\%$ 的产品为一等品概率不低于 $0.9772$，则 $n$ 至少应该取多少

    ​ 解：
    $$\begin{gathered} 设X为一等品数量,\therefore X\sim N(0.8n,0.16n) \\ \begin{array}{rl}\therefore P(X\ge 0.7n)\approx 1-\Phi (\frac{0.7n-0.8n}{0.4\sqrt{n}})& \ge 0.9772\\ 1-\Phi (-\frac{\sqrt{n}}{4})& \ge \Phi (2)\\ -2& \ge -\frac{\sqrt{n}}{4}\\ \therefore n& \ge 64\end{array} \end{gathered}$$

• 频率估计概率问题：计算 $P(|\frac{{\mu }_n}{n}-p|<\epsilon )=\beta$，其中样本量 $n$，期望概率 $p$，误差 $\epsilon$，事件发生概率 $\beta$，知三求一。
  $$\begin{gathered} \because \frac{{\mu }_n}{n}\sim N(p,\frac{pq}{n})\therefore \frac{\frac{{\mu }_n}{n}-p}{\sqrt{\frac{pq}{n}}}\sim N(0,1) \\ ⟹\beta =P(|\frac{{\mu }_n}{n}-p|<\epsilon )=F(p+\epsilon )-F(p-\epsilon )=\Phi (\frac{p+\epsilon -p}{\sqrt{\frac{pq}{n}}})-\Phi (\frac{p-\epsilon -p}{\sqrt{\frac{pq}{n}}})=2\Phi (\epsilon \sqrt{\frac{n}{pq}})-1 \end{gathered}$$