概率论与数理统计教程(四)-大数定理与中心极限定理03：大数定理

$\S 4.3$ 大数定律
大数定律有多种形式, 下面从最简单的伯努利大数定律说起,
逐步介绍各种大数定律.
4.3.1 伯努利大数定律
记 $S_n$ 为 $n$ 重伯努利试验中事件 $A$ 出现的次数, 称
$\frac{S_n}{n}$ 为事件 $A$ 出现的频率.
如果记一次试验中 $A$ 发生的概率为 $p$, 则 $S_n$ 服从二项分布
$b(n,p)$, 因此频率 $\frac{S_n}{n}$ 的数学期望与方差分别为
$$E\left(\frac{S_n}{n}\right)=p,\mathrm{Var}\left(\frac{S_n}{n}\right)=\frac{p(1-p)}{n}.$$
下面我们讨论 $n\to \infty$ 时, 频率 $\frac{S_n}{n}$ 与概率
$p$ 的绝对偏差 $\left|\frac{S_n}{n}-p\right|$ 的极限状态.
按数学分析中的数列极限概念, 若 { S n } \left\{S_{n}\right\} { Sn​} 为数列, 则数列
$\left\{\frac{S_n}{n}\right\}$ 的极限为 $p$ 意味着对任意的
$\epsilon >0$, 当 $n$ 充分大时, 绝对偏差必定会小于 $\epsilon$, 即
$$\left|\frac{S_n}{n}-p\right|<\epsilon .$$
然而, 当 $S_n$ 为 $n$ 重伯努利试验中成功 ( $A$ 出现) 的次数
(是一个随机变量) 时, 上述现象不会再现, 即不能指望对任意样本点 $\omega$
(长为 $n$ 的 0,1 序列), 频率 $S_n/n$ 对成功概率 $p$的绝对偏差都小于
$\epsilon$, 即使充分小的 $\epsilon >0$ 和很大的 $n$,
也不能指望对任意样本点 $\omega$, 不等式
$$\left|\frac{S_n}{n}-p\right|⩽\epsilon ,\omega \in \Omega$$
都成立. 臂如, 对 $0<p<1$ 有
$$\begin{array}{c}P\left(\frac{S_n}{n}=1\right)=P\left(X_1=1,X_2=1,\cdots ,X_n=1\right)=p^n,\\ P\left(\frac{S_n}{n}=0\right)=P\left(X_1=0,X_2=0,\cdots ,X_n=0\right)=(1-p{)}^n.\end{array}$$

对充分小的 $\epsilon >0$, 不等式 (4.3.2) 式并不能永远成立.
不过, 应该看到, 当 $n$ 很大时, 事件 { S n / n = 1 } \left\{S_{n} / n=1\right\} { Sn​/n=1} 和
{ S n / n = 0 } \left\{S_{n} / n=0\right\} { Sn​/n=0} 的概率都很微小, 当然希望大偏差
$\left|S_n/n-p\right|⩾\epsilon$ 的概率也很小, 且随着
$n$ 增大而愈来愈小. 特别希望有如下的概率陈述.
$$\underset{n\to \infty }{\lim }P\left(\left|\frac{S_n}{n}-p\right|⩾\epsilon \right)=0.$$
下面的伯努利大数定律就对上述讨论作了一个很好的总结, 并作出了肯定的回答.
定理 4.3.1 (伯努利大数定律) 设 $S_n$ 为 $n$ 重伯努利试验中事件 $A$
发生的次数, $p$为每次试验中 $A$ 出现的概率, 则对任意的 $\epsilon >0$,
有
$$\underset{n\to \infty }{\lim }P\left(\left|\frac{S_n}{n}-p\right|<\epsilon \right)=1\text{. }$$
证明 因为 $S_n\sim b(n,p)$, 且 $\frac{S_n}{n}$ 的数学期望和方差如
(4.3.1) 式所示. 所以由切比雪夫不等式得
$$1⩾P\left(\left|\frac{S_n}{n}-p\right|<\epsilon \right)⩾1-\frac{\mathrm{Var}\left(\frac{S_n}{n}\right)}{{\epsilon }^2}=1-\frac{p(1-p)}{n{\epsilon }^2}.$$
当 $n\to \infty$ 时, 上式右端趋于 1 , 因此
$$\underset{n\to \infty }{\lim }P\left(\left|\frac{S_n}{n}-p\right|<\epsilon \right)=1.$$
结论得证.
伯努利大数定律说明: 随着 $n$ 的增大, 事件 $A$ 发生的频率
$\frac{S_n}{n}$ 与其概率 $p$ 的偏差 $\left|\frac{S_n}{n}-p\right|$
大于预先给定的精度 $\epsilon$ 的可能性愈来愈小, 要多小有多小.
这就是频率稳定于概率的含义.
臂如, 抛一枚硬币出现正面的概率 $p=0.5$. 若把这枚硬币连抛 10 次, 则因为
$n$ 较小, 发生偏差的可能性有时会大一些, 有时会小一些. 若把这枚硬币连抛
10 万次, 由切比雪夫不等式知: 正面出现的频率与 0.5
的偏差大于预先给定的精度 $\epsilon$ (若取精度 $\epsilon =$ $0.01)$
的可能性
$$P\left(\left|\frac{S_n}{n}-0.5\right|>0.01\right)⩽\frac{0.5\times 0.5}{n0.01^2}=\frac{10^4}{4n}.$$
大偏差发生的可能性小于 $1/40=2.5\%$. 当 $n=10^6$ 时,
大偏差发生的可能性小于 $1/400=$ $0.25\%$. 可见试验次数愈多,
大偏差发生的可能性愈小.
伯努利大数定律提供了用频率来确定概率的理论依据.
譬如要估计某种产品的不合格品率 $p$, 则可从该种产品中随机抽取 $n$ 件, 当
$n$ 很大时, 这 $n$ 件产品中的不合格品的比例可作为不合格品率 $p$
的估计值.
例 4.3.1 (用蒙特卡罗方法计算定积分 (随机投点法)) 设
$0⩽f(x)⩽1$, 求 $f(x)$ 在区间 $[0,1]$ 上的积分值
$$J={\int }_0^{1}f(x)\mathrm{d}x.$$
设二维随机变量 $(X,Y)$ 服从正方形
{ 0 ⩽ x ⩽ 1 , 0 ⩽ y ⩽ 1 } \{0 \leqslant x \leqslant 1,0 \leqslant y \leqslant 1\} { 0⩽x⩽1,0⩽y⩽1} 上的均匀分布,
则可知 $X$服从 $[0,1]$ 上的均匀分布, Y Y