第五章 大数定律及中心极限定理

大数定律

弱大数①（辛钦大数定律）

• $X_1,X_2,...,X_n$是随机变量序列
  • 相互独立
  • 服从同分布，并有期望$E(X_k)=\mu$
• 对序列的算术平均$\frac{1}{n}\sum _{k=1}^n{X}_k,\forall \epsilon >0$有 lim ⁡ n → ∞ P { ∣ 1 n ∑ k = 1 n X k − μ ∣ < ε } = 1 \lim\limits_{n\to\infty}P\{\Big|\frac1n\sum\limits_{k=1}^nX_k-\mu\Big|<\varepsilon\}=1 n→∞lim​P{∣∣∣​n1​k=1∑n​Xk​−μ∣∣∣​<ε}=1
• 解释：把{}里当做一个随机事件，当$n\to \infty$时，这个事件发生的概率极大
  • 定理的大意是说，对于独立同分布且期望存在的随机变量序列，其算术平均接近期望的概率很大

证明

• 这里只在$D(X_k)$也存在的情况下证明，并设$D(X_k)={\sigma }^2$
• $$E(\frac{1}{n}\sum _{k=1}^n{X}_k)$$

依概率收敛的定义

• $Y_1,Y_2,...,Y_n,...$是随机变量序列
• a是一常数
• 若对$\forall \epsilon >0$有 lim ⁡ n → ∞ P { ∣ Y n − a ∣ < ε } = 1 \lim\limits_{n\to\infty}P\{|Y_n-a|<\varepsilon\}=1 n→∞lim​P{∣Yn​−a∣<ε}=1
• 则称序列$Y_1,Y_2,...,Y_n,...$依概率收敛于a,记为$$Y_n\stackrel{P}{\to }a$$

依概率收敛的序列的性质

• 若$X_n\stackrel{P}{\to }a,Y_n\stackrel{P}{\to }b$
• $g(x,y)在点(a,b)连续$
• 则$$g(X_n,Y_n)\stackrel{P}{\to }g(a,b)$$

用依概率收敛再重新表示一下辛钦大数定律

• $X_1,X_2,...,X_n$是随机变量序列
  • 相互独立
  • 服从同分布，并有期望$E(X_k)=\mu$
• 则$\overline{X}=\frac{1}{n}\sum _{k=1}^n{X}_k$依概率收敛到$\mu$，即$$\overline{X}\stackrel{P}{\to }\mu$$

伯努利大数定律

• 伯努利是辛辛的重要推论
• 设$f_A$是n次独立重复试验中事件A发生的次数
• $p$是事件A在每次试验中发生的概率
• 则对于$\forall \epsilon >0$，有 lim ⁡ n → ∞ P { ∣ f A n − p ∣ < ε } = 1 \lim\limits_{n\to\infty}P\{|\frac{f_A}n-p|<\varepsilon\}=1 n→∞lim​P{∣nfA​​−p∣<ε}=1或 lim ⁡ n → ∞ P { ∣ f A n − p ∣ ≥ ε } = 0 \lim\limits_{n\to\infty}P\{|\frac{f_A}n-p|\ge\varepsilon\}=0 n→∞lim​P{∣nfA​​−p∣≥ε}=0