概率论 —— 大数定律与中心极限定理

一、依概率收敛

• 定义：设随机变量 $X$ 与随机变量序列 { X n } ( n = 1 , 2 , 3 , . . . ) \{X_n\}(n=1,2,3,...) {Xn​}(n=1,2,3,...)，如果对任意的 $ϵ>0$ ，有
  ​ lim ⁡ n → ∞ P { ∣ X n − X ∣ ≥ ϵ } = 0 或 lim ⁡ n → ∞ P { ∣ X n − X ∣ < ϵ } = 1 \lim\limits_{n\to\infin}P\{|X_n-X| \geq \epsilon\} = 0 或 \lim\limits_{n\to\infin}P\{|X_n-X| < \epsilon\} = 1 n→∞lim​P{∣Xn​−X∣≥ϵ}=0或n→∞lim​P{∣Xn​−X∣<ϵ}=1
  则称随机变量序列 { X n } \{X_n\} {Xn​} 依概率收敛于随机变量 $X$，记为
  ​ $$\underset{i\to \infty }{\lim }{X}_n=X(P)或X_n\stackrel{P}{⟶}X(n\to \infty )$$
• 注：以上定义中将随机变量 $X$ 写成数 $a$ 也成立

二、大数定律

• 在满足一定的条件下，所有大数定律的结论均为：随机变量均值依概率收敛到均值的期望，即：
  ​ $$\frac{1}{n}\sum _{i=1}^n{X}_i\stackrel{P}{⟶}E(\frac{1}{n}\sum _{i=1}^n{X}_i)$$
• 大数定律的意义在于：期望是一个确定的数，不是变量，大数定律体现了随机变量均值的稳定性，在大样本的情况下，随机变量均值趋于某稳定常数。

1. 切比雪夫大数定律

• 假设 { X n } ( n = 1 , 2 , . . . ) \{X_n\}(n = 1,2,...) {Xn​}(n=1,2,...)是相互独立的随机变量序列，如果方差 $D{X}_i(i\ge 1)$存在且一致有上界，即存在常数 $C$ ，使$D{X}_i\le C$ 对一切 $i\ge 1$均成立，则 { X i } \{X_i\} {Xi​} 服从大数定律
  ​ $$\begin{gathered} \frac{1}{n}\sum _{i=1}^n{X}_i\stackrel{P}{⟶}\frac{1}{n}\sum _{i=1}^{n}E{X}_i \\ 即\bar{X}\stackrel{P}{⟶}E\bar{X} \end{gathered}$$

  即 随机变量均值依概率收敛到自己的期望

• 条件

  • 随机变量序列相互独立
  • 方差一致有上界

2. 伯努利大数定律

• 假设 ${\mu }_n$ 是n重伯努利实验中事件A发生的次数，在每次试验中事件A方式的概率为 $p(0<p<1)$，则 $\frac{{\mu }_n}{n}\stackrel{P}{⟶}p$，即对于任意 $ϵ>0$，有
  ​ lim ⁡ n → ∞ P { ∣ μ n n − p ∣ < ϵ } = 1 \lim\limits_{n\to \infin} P\{|\frac{\mu_n}{n}-p|<\epsilon\} = 1 n→∞lim​P{∣nμn​​−p∣<ϵ}=1

• 说明

  • 伯努利试验（Bernoulli experiment）是在同样的条件下重复地、相互独立地进行的一种随机试验，其特点是该随机试验只有两种可能结果：发生或者不发生。抛硬币就是一种伯努利试验
  • n重伯努利实验就是重复做n次伯努利试验。

• 这个定律就是形式化地描述了一个现象：随机事件发生的频率依概率收敛到概率

3. 辛钦大数定律

• 假设 { X n } \{X_n\} {Xn​} 是独立同分布的随机变量序列，如果 $E{X}_i=\mu (i=1,2,...)$ 存在，则 $\frac{1}{n}\sum _{i=1}^n{X}_i\stackrel{P}{⟶}\mu$，即对于任意 $ϵ>0$，有
  lim ⁡ n → ∞ P { ∣ 1 n ∑ i = 1 n X i − μ ∣ < ϵ } = 1 ​ 即 X ˉ = 1 n ∑ i = 1 n X i ⟶ P μ = E X i = E ( 1 n ∑ i = 1 n X i ) = E X ˉ \lim\limits_{n\to \infin}P\{|\frac{1}{n} \sum\limits_{i=1}^n X_i-\mu|<\epsilon\} = 1 \\ ​ 即\bar{X} = \frac{1}{n} \sum\limits_{i=1}^n X_i \stackrel{P}{\longrightarrow} \mu = EX_i = E(\frac{1}{n} \sum\limits_{i=1}^n X_i) = E\bar{X} n→∞lim​P{∣n1​i=1∑n​Xi​−μ∣<ϵ}=1​即Xˉ=n1​i=1∑n​Xi​⟶P​μ=EXi​=E(n1​i=1∑n​Xi​)=EXˉ

  即 随机变量均值依概率收敛到自己的期望

• 条件

  • 随机变量相互独立
  • 随机变量同分布
  • 随机变量期望存在

三、中心极限定理

• 所有中心极限定理其实在说这样一件事：若随机变量序列 { X i } \{X_i\} {Xi​} 独立同分布，它们服从分布 $F$， 有 $E{X}_i=\mu ,D{X}_i={\sigma }^2$，则 $\sum _{i=1}^n{X}_i$ 在大样本情况下服从正态分布 $N(n\mu ,n{\sigma }^2)$，再标准化后服从标准正太分布，即
  ​ $$\begin{gathered} 若X_i\stackrel{i.i.d}{\sim }F,E{X}_i=\mu ,D{X}_i={\sigma }^2 \\ 则\sum _{i=1}^n{X}_i\stackrel{n\to \infty }{\sim }N(n\mu ,n{\sigma }^2) \\ 即\frac{\sum _{i=1}^n{X}_i-n\mu }{\sqrt{n}\sigma }\stackrel{n\to \infty }{\sim }N(0,1) \end{gathered}$$

  ​

• 两种常见的中心极限定理
  

  • 这里定理四就是构造了标准化正态分布，在大样本情况下满足标准正态分布的分布函数
  • 定理五就是指定了一个二项分布，二项分布可以拆开成n个两点分布 $B(1,p)$ 求和，然后带入定理四得到