§ 4.3 § 4.3 §4.3 大数定律
大数定律有多种形式, 下面从最简单的伯努利大数定律说起,
逐步介绍各种大数定律.
4.3.1 伯努利大数定律
记 S n S_{n} Sn 为 n n n 重伯努利试验中事件 A A A 出现的次数, 称
S n n \frac{S_{n}}{n} nSn 为事件 A A A 出现的频率.
如果记一次试验中 A A A 发生的概率为 p p p, 则 S n S_{n} Sn 服从二项分布
b ( n , p ) b(n, p) b(n,p), 因此频率 S n n \frac{S_{n}}{n} nSn 的数学期望与方差分别为
E ( S n n ) = p , Var ( S n n ) = p ( 1 − p ) n . E\left(\frac{S_{n}}{n}\right)=p, \quad \operatorname{Var}\left(\frac{S_{n}}{n}\right)=\frac{p(1-p)}{n} . E(nSn)=p,Var(nSn)=np(1−p).
下面我们讨论 n → ∞ n \rightarrow \infty n→∞ 时, 频率 S n n \frac{S_{n}}{n} nSn 与概率
p p p 的绝对偏差 ∣ S n n − p ∣ \left|\frac{S_{n}}{n}-p\right|
nSn−p
的极限状态.
按数学分析中的数列极限概念, 若 { S n } \left\{S_{n}\right\} {
Sn} 为数列, 则数列
{ S n n } \left\{\frac{S_{n}}{n}\right\} {
nSn} 的极限为 p p p 意味着对任意的
ε > 0 \varepsilon>0 ε>0, 当 n n n 充分大时, 绝对偏差必定会小于 ε \varepsilon ε, 即
∣ S n n − p ∣ < ε . \left|\frac{S_{n}}{n}-p\right|<\varepsilon .
nSn−p
<ε.
然而, 当 S n S_{n} Sn 为 n n n 重伯努利试验中成功 ( A A A 出现) 的次数
(是一个随机变量) 时, 上述现象不会再现, 即不能指望对任意样本点 ω \omega ω
(长为 n n n 的 0,1 序列), 频率 S n / n S_{n} / n Sn/n 对成功概率 p p p的绝对偏差都小于
ε \varepsilon ε, 即使充分小的 ε > 0 \varepsilon>0 ε>0 和很大的 n n n,
也不能指望对任意样本点 ω \omega ω, 不等式
∣ S n n − p ∣ ⩽ ε , ω ∈ Ω \left|\frac{S_{n}}{n}-p\right| \leqslant \varepsilon, \quad \omega \in \Omega
nSn−p
⩽ε,ω∈Ω
都成立. 臂如, 对 0 < p < 1 0<p<1 0<p<1 有
P ( S n n = 1 ) = P ( X 1 = 1 , X 2 = 1 , ⋯ , X n = 1 ) = p n , P ( S n n = 0 ) = P ( X 1 = 0 , X 2 = 0 , ⋯ , X n = 0 ) = ( 1 − p ) n . \begin{array}{c} P\left(\frac{S_{n}}{n}=1\right)=P\left(X_{1}=1, X_{2}=1, \cdots, X_{n}=1\right)=p^{n}, \\ P\left(\frac{S_{n}}{n}=0\right)=P\left(X_{1}=0, X_{2}=0, \cdots, X_{n}=0\right)=(1-p)^{n} . \end{array} P(nSn=1)=P(X1=1,X2=1,⋯,Xn=1)=pn,P(nSn=0)=P(X1=0,X2=0,⋯,Xn=0)=(1−p)n.
对充分小的 ε > 0 \varepsilon>0 ε>0, 不等式 (4.3.2) 式并不能永远成立.
不过, 应该看到, 当 n n n 很大时, 事件 { S n / n = 1 } \left\{S_{n} / n=1\right\} {
Sn/n=1} 和
{ S n / n = 0 } \left\{S_{n} / n=0\right\} {
Sn/n=0} 的概率都很微小, 当然希望大偏差
∣ S n / n − p ∣ ⩾ ε \left|S_{n} / n-p\right| \geqslant \varepsilon ∣Sn/n−p∣⩾ε 的概率也很小, 且随着
n n n 增大而愈来愈小. 特别希望有如下的概率陈述.
lim n → ∞ P ( ∣ S n n − p ∣ ⩾ ε ) = 0. \lim \limits_{n \rightarrow \infty} P\left(\left|\frac{S_{n}}{n}-p\right| \geqslant \varepsilon\right)=0 . n→∞limP(
nSn−p
⩾ε)=0.
下面的伯努利大数定律就对上述讨论作了一个很好的总结, 并作出了肯定的回答.
定理 4.3.1 (伯努利大数定律) 设 S n S_{n} Sn 为 n n n 重伯努利试验中事件 A A A
发生的次数, p p p为每次试验中 A A A 出现的概率, 则对任意的 ε > 0 \varepsilon>0 ε>0,
有
lim n → ∞ P ( ∣ S n n − p ∣ < ε ) = 1 . \lim \limits_{n \rightarrow \infty} P\left(\left|\frac{S_{n}}{n}-p\right|<\varepsilon\right)=1 \text {. } n→∞limP(
nSn−p
<ε)=1.
证明 因为 S n ∼ b ( n , p ) S_{n} \sim b(n, p) Sn∼b(n,p), 且 S n n \frac{S_{n}}{n} nSn 的数学期望和方差如
(4.3.1) 式所示. 所以由切比雪夫不等式得
1 ⩾ P ( ∣ S n n − p ∣ < ε ) ⩾ 1 − Var ( S n n ) ε 2 = 1 − p ( 1 − p ) n ε 2 . 1 \geqslant P\left(\left|\frac{S_{n}}{n}-p\right|<\varepsilon\right) \geqslant 1-\frac{\operatorname{Var}\left(\frac{S_{n}}{n}\right)}{\varepsilon^{2}}=1-\frac{p(1-p)}{n \varepsilon^{2}} . 1⩾P(
nSn−p
<ε)⩾1−ε2Var(nSn)=1−nε2p(1−p).
当 n → ∞ n \rightarrow \infty n→∞ 时, 上式右端趋于 1 , 因此
lim n → ∞ P ( ∣ S n n − p ∣ < ε ) = 1. \lim \limits_{n \rightarrow \infty} P\left(\left|\frac{S_{n}}{n}-p\right|<\varepsilon\right)=1 . n→∞limP(
nSn−p
<ε)=1.
结论得证.
伯努利大数定律说明: 随着 n n n 的增大, 事件 A A A 发生的频率
S n n \frac{S_{n}}{n} nSn 与其概率 p p p 的偏差 ∣ S n n − p ∣ \left|\frac{S_{n}}{n}-p\right|
nSn−p
大于预先给定的精度 ε \varepsilon ε 的可能性愈来愈小, 要多小有多小.
这就是频率稳定于概率的含义.
臂如, 抛一枚硬币出现正面的概率 p = 0.5 p=0.5 p=0.5. 若把这枚硬币连抛 10 次, 则因为
n n n 较小, 发生偏差的可能性有时会大一些, 有时会小一些. 若把这枚硬币连抛
10 万次, 由切比雪夫不等式知: 正面出现的频率与 0.5
的偏差大于预先给定的精度 ε \varepsilon ε (若取精度 ε = \varepsilon= ε= 0.01 ) 0.01) 0.01)
的可能性
P ( ∣ S n n − 0.5 ∣ > 0.01 ) ⩽ 0.5 × 0.5 n 0.0 1 2 = 1 0 4 4 n . P\left(\left|\frac{S_{n}}{n}-0.5\right|>0.01\right) \leqslant \frac{0.5 \times 0.5}{n 0.01^{2}}=\frac{10^{4}}{4 n} . P(
nSn−0.5
>0.01)⩽n0.0120.5×0.5=4n104.
大偏差发生的可能性小于 1 / 40 = 2.5 % 1 / 40=2.5 \% 1/40=2.5%. 当 n = 1 0 6 n=10^{6} n=106 时,
大偏差发生的可能性小于 1 / 400 = 1 / 400= 1/400= 0.25 % 0.25 \% 0.25%. 可见试验次数愈多,
大偏差发生的可能性愈小.
伯努利大数定律提供了用频率来确定概率的理论依据.
譬如要估计某种产品的不合格品率 p p p, 则可从该种产品中随机抽取 n n n 件, 当
n n n 很大时, 这 n n n 件产品中的不合格品的比例可作为不合格品率 p p p
的估计值.
例 4.3.1 (用蒙特卡罗方法计算定积分 (随机投点法)) 设
0 ⩽ f ( x ) ⩽ 1 0 \leqslant f(x) \leqslant 1 0⩽f(x)⩽1, 求 f ( x ) f(x) f(x) 在区间 [ 0 , 1 ] [0,1] [0,1] 上的积分值
J = ∫ 0 1 f ( x ) d x . J=\int_{0}^{1} f(x) \mathrm{d} x . J=∫01f(x)dx.
设二维随机变量 ( X , Y ) (X, Y) (X,Y) 服从正方形
{ 0 ⩽ x ⩽ 1 , 0 ⩽ y ⩽ 1 } \{0 \leqslant x \leqslant 1,0 \leqslant y \leqslant 1\} {
0⩽x⩽1,0⩽y⩽1} 上的均匀分布,
则可知 X X X服从 [ 0 , 1 ] [0,1] [0,1] 上的均匀分布, Y Y