【统计类知识】大数定律与中心极限定理

一、背景

事件发生的频率具有稳定性，即随着试验次数的增加，事件发生的频率逐渐稳定于某个常数，这一事实表明可以用一个数来表征事件发生的可能性大小，这使人们认识到概率是客观存在的，进而由频率的三条性质的启发和抽象给出了概率的定义，而频率的稳定性是概率定义的客观基础。

二、大数定律

通常，在进行大量重复试验时，事件发生的频率会越来越稳定于它的概率，这里提到的“稳定”一词就是指随机试验结果依概率收敛于某个确定的值，这就是 “大数定律”

参考某博主的观点就是

大数定律讲的是样本均值收敛到总体均值

也可以理解为大数定律是阐述大量随机变量的平均结果具有稳定性的一系列定律的总称。

下面简单的介绍一下这几个定律

切比雪夫不等式

若随机变量 $X$ 的期望 $EX$ 和方差 $VarX$ 都存在，则对任意的 $\epsilon >0$ ，有

$$P\left(\left|X-EX\right|\ge \epsilon \right)\le \frac{VarX}{{\epsilon }^2}$$

或者
$$P\left(\left|X-EX\right|<\epsilon \right)\ge 1-\frac{VarX}{{\epsilon }^2}$$

这个定律强调期望与方差都存在，一般只需方差存在即可。

（1）切比雪夫大数定律

如果随机变量序列 { X n ， n ≥ 1 } \left\{ X_n\text{，}n\ge 1 \right\} {Xn​，n≥1} 满足如下三个条件：

1. 序列中任意有限多个随机变量都相互独立；
2. 期望 $E{X}_1\text{，}E{X}_2\text{，}\cdots \text{，}E{X}_n$ 与方差 $Var{X}_1\text{，}Var{X}_2\text{，}\cdots \text{，}Var{X}_n$ 都存在；
3. 方差一致有界，即存在 $M>0$ ，使得 $Var{X}_i\le M\text{，}i=1,2\cdots$

对任意的 $\epsilon >0$ ，有

$$\underset{n\to \infty }{\lim }P\left(\left|\frac{1}{n}\sum _{i=1}^n{X}_i-\frac{1}{n}\sum _{i=1}^{n}E{X}_i\right|\ge \epsilon \right)=0$$

或者

$$\underset{n\to \infty }{\lim }P\left(\left|\frac{1}{n}\sum _{i=1}^n{X}_i-\frac{1}{n}\sum _{i=1}^{n}E{X}_i\right|<\epsilon \right)=1$$

上式可以写成
$$\frac{1}{n}\sum _{i=1}^n{X}_i-\frac{1}{n}\sum _{i=1}^{n}E{X}_i\stackrel{p}{\to }0$$

即该定律说明，当 $n$ 充分大时，算术平均值 $\overline{X}=\frac{1}{n}{\sum }_{i=1}^n{X}_i$ 密集分布在它的期望 $E\overline{X_n}$ 的附近。

（2）伯努力大数定律

在每次成功概率为 $p$ 的伯努利试验序列中，若用 ${\mu }_n$ 表示前 $n$ 次试验中成功的次数，则对任意的 $\epsilon >0$ ，有

$$\underset{n\to \infty }{\lim }P\left(\left|\frac{{\mu }_n}{n}-p\right|\ge \epsilon \right)=0$$
或者

$$\underset{n\to \infty }{\lim }P\left(\left|\frac{{\mu }_n}{n}-p\right|<\epsilon \right)=1$$

该定律表明，频率稳定于概率

（3）辛钦大数定律

设随机变量序列 { X n ， n ≥ 1 } \left\{ X_n\text{，}n\ge 1 \right\} {Xn​，n≥1} 满足一下三个条件

1. 相互独立
2. 同分布
3. 期望 $E{X}_i=\mu$ 存在，$i=1,2,\cdots$

则对任意的 $\epsilon >0$ ，有

$$\underset{n\to \infty }{\lim }P\left(\left|\frac{1}{n}\sum _{i=1}^n{X}_i-\mu \right|\ge \epsilon \right)=0$$
或者

$$\underset{n\to \infty }{\lim }P\left(\left|\frac{1}{n}\sum _{i=1}^n{X}_i-\mu \right|<\epsilon \right)=1$$

三、中心极限定理

概念：

如果总体变量存在有限的平均数和方差，那么无论这个总体变量的分布如何，随着抽样单位数 $n$ 的增加，抽样平均数便趋近于正态分布。

也就是

来自某总体的一个样本，无论该总体服从什么分布，只要样本容量足够大，其样本均值都近似服从正态分布。注意“样本均值“近似正态，而不是样本本身服从正态

要了解中心定理的来龙去脉，推荐参考抽样分布之中心极限定理(Central Limit Theorem)

引用其中一部分内容：

（1）独立同分布中心极限定理

设随机变量序列 { X n ， n ≥ 1 } \left\{ X_n\text{，}n\ge 1 \right\} {Xn​，n≥1} 满足一下三个条件

1. 相互独立
2. 同分布
3. 期望 $E{X}_i=\mu$ 和方差 $Var{X}_i={\sigma }^2$ ，$i=1,2,\cdots$，都存在

则对任意的 $\epsilon >0$ ，有

$$\underset{n\to \infty }{\lim }P\left(\frac{{\sum }_{i=1}^n{X}_i-n\mu }{\sqrt{n}\sigma }\le x\right)=\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^x{e}^{-\frac{t^2}{2}}dt$$

按照依分布收敛的语言，可以写成

$$\frac{{\sum }_{i=1}^n{X}_i-n\mu }{\sqrt{n}\sigma }\stackrel{d}{\to }N\left(0,1\right)$$

（2）棣莫弗—拉普拉斯中心极限定理

二项分布的正态逼近

棣莫弗—拉普拉斯中心极限定理是独立同分布中心极限定理的特例

在每次成功概率为 p 的伯努利试验序列中，若用 ${\mu }_n$ 表示前 n 次试验中成功的次数，则对任意的 $x\in R$ ，有

$$\underset{n\to \infty }{\lim }P\left(\frac{{\mu }_n-np}{\sqrt{np\left(1-p\right)}}\le x\right)=\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^x{e}^{-\frac{t^2}{2}}dt$$
按照依分布收敛的语言，可以写成

$$\frac{{\mu }_n-np}{\sqrt{np\left(1-p\right)}}\stackrel{d}{\to }N\left(0,1\right)$$

四、大数定律与中心极限定理之间的区别

这里引用 详细解释大数定律+中心极限定理（三）观点