5 大数定律及中心极限定理

Chapter 5 大数定律及中心极限定理

5.1 大数定律

定义5.1 设$Y_1$, $Y_2$, $\dots$，$Y_n$, $\dots$ 为一个随机变量序列，c为一常数，若对于 $\forall \epsilon >0$ ，均有：
lim ⁡ x → ∞ P { ∣ Y n − c ∣ ≥ ε } = 0 \displaystyle\lim_{x \to \infty}{P\{|Y_n-c|\geq\varepsilon\}}=0 x→∞lim​P{∣Yn​−c∣≥ε}=0
成立，则称随机变量序列 { Y n , n ≥ 1 } \{Y_n,n\geq1\} {Yn​,n≥1}依概率收敛于c，记为$Y_n\stackrel{P}{⟶}c$, 当 $n\to \infty$ .

定理 （Chebyshev不等式） 设随机变量具有数学期望$E(X)=\mu$, 方差$D(X)={\sigma }^2$，则对于任意$\epsilon >0$, 都有：
P { ∣ X − μ ∣ ≥ ε } ≤ σ 2 ε 2 P\{|X-\mu|\geq\varepsilon\}\leq\dfrac{\sigma^2}{\varepsilon_2} P{∣X−μ∣≥ε}≤ε2​σ2​
定理的等价形式：

P { ∣ X − μ ∣ < ε } ≥ 1 − σ 2 ε 2 P\{|X-\mu|<\varepsilon\}\geq1-\dfrac{\sigma^2}{\varepsilon_2} P{∣X−μ∣<ε}≥1−ε2​σ2​
适用范围：对于期望、存在的随机变量（范围广,但结果比较粗糙）

定理1 (Bernoulli大数定律) 设$n_A$为n重Bernoulli试验中事件A发生的次数，$p(0<p<1)$为事件A在每次试验中发生的概率，则对于$ \varepsilon > 0$，有
$$\underset{n\to +\infty }{\lim }P\left(\left|\frac{n_A}{n}-p\right|⩾\epsilon \right)=0$$
即事件A发生的频率$\frac{n_A}{n}$依概率收敛到A发生的概率$p$。

定理2 （切比雪夫大数定律的推论) $X_1,X_2,\dots ,X_n,\dots$为相互独立的随机变量，且具有相同的期望$\mu$, 相同的方差${\sigma }^2$, 那么
$$\frac{1}{n}\sum _{i=1}^n{X}_i\stackrel{P}{⟶}\mu ,(n\to \infty )$$
定理3 (辛钦大数定理) $X_1,X_2,\dots ,X_n,\dots$为相互独立的随机变量，且其期望存在，记为$\mu$, 那么
$$\frac{1}{n}\sum _{i=1}^n{X}_i\stackrel{P}{⟶}\mu ,(n\to \infty )$$

5.2 中心极限定理

定理1(独立同分布的中心极限定理) 设随机变量$X_1,X_2,\dots ,X_n,\dots$，相互独立且同分布，$E(X_i)=\mu$, $D(X_i)={\sigma }^2$,$i=1,2,\dots$，则对于充分大的n，有$\sum _{i=1}^n{X}_i\stackrel{近似}{\sim }N(n\mu ,n{\sigma }^2)$.此时
$$P(a<\sum _{i=1}^n{X}_i\le b)\approx \Phi (\frac{b-n\mu }{\sqrt{n}\sigma })-\Phi (\frac{a-n\mu }{\sqrt{n}\sigma })$$
定理3 (De Moivre-Laplace定理) 设$n_A$为n重Bernoulli试验中事件A发生的次数，$p(0<p<1)$为事件A在每次试验中发生的概率，则对于充分大的$n$有
$$n_A\sim N(np,np(1-p))$$

即对于二项分布$B(n,p)$,当$n$充分大的时候，可用正态分布来近似。