大数定律和中心极限定理详解

简介：个人学习分享，如有错误，欢迎批评指正。

一、大数定理

大数定理（Law of Large Numbers, LLN） 是概率论中的基础定理之一，描述了在一定条件下，随着试验次数的增加，样本均值趋近于总体期望值的现象。大数定理在统计学、数理统计、金融、工程等多个领域具有广泛的应用，为统计推断和决策提供了理论基础。

1. 大数定理的基本概述

大数定理主要解决的是以下问题：在重复独立同分布（i.i.d.）的随机试验中，随着试验次数的增加，样本均值是否会趋近于总体的期望值。直观上，这意味着通过大量重复试验，样本的平均结果会越来越接近理论上的平均值。

大数定理有两个主要形式：

• 弱大数定理（Weak Law of Large Numbers, WLLN）
• 强大数定理（Strong Law of Large Numbers, SLLN）

这两者在收敛的类型和严格性上有所不同。

2. 大数定理的数学表达

2.1 弱大数定理（WLLN）

弱大数定理指出，对于一组独立同分布的随机变量，其样本均值在概率意义下收敛于总体期望值。

数学表述：

设 $X_1,X_2,\dots ,X_n$ 是一组独立同分布的随机变量，具有有限的期望值 $\mathbb{E}[X_i]=\mu$。定义样本均值为：

$${\overline{X}}_n=\frac{1}{n}\sum _{i=1}^n{X}_i$$

则对于任意的 $ϵ>0$，当 $n\to \infty$ 时，有：

$$\underset{n\to \infty }{\lim }P\left(|{\overline{X}}_n-\mu |\ge ϵ\right)=0$$

即：

$${\overline{X}}_n\stackrel{P}{\to }\mu$$

其中，符号 $\stackrel{P}{\to }$ 表示依概率收敛。

2.2 强大数定理（SLLN）

强大数定理进一步强化了弱大数定理的结论，指出样本均值几乎必然（with probability 1）收敛于总体期望值。

数学表述：

设 $X_1,X_2,\dots ,X_n$ 是一组独立同分布的随机变量，具有有限的期望值 $\mathbb{E}[X_i]=\mu$。定义样本均值为：

$${\overline{X}}_n=\frac{1}{n}\sum _{i=1}^n{X}_i$$

则有：

$$P\left(\underset{n\to \infty }{\lim }{\overline{X}}_n=\mu \right)=1$$

即：

$${\overline{X}}_n\stackrel{a.s.}{\to }\mu$$

其中，符号 $\stackrel{a.s.}{\to }$ 表示几乎必然收敛（almost sure convergence）。

3. 大数定理的证明方法

3.1 弱大数定理的证明（使用切比雪夫不等式）

以下是利用切比雪夫不等式证明弱大数定理的步骤：

步骤一：样本均值的期望和方差

由于 $X_i$ 独立同分布，且 $\mathbb{E}[X_i]=\mu$，方差 $\text{Var}(X_i)={\sigma }^2$，则样本均值的期望和方差为：

$$\mathbb{E}[{\overline{X}}_n]=\mu$$

$$\text{Var}({\overline{X}}_n)=\frac{{\sigma }^2}{n}$$

步骤二：应用切比雪夫不等式

切比雪夫不等式指出，对于任何随机变量 $Y$ 和 $ϵ>0$，有：

$$P(|Y-\mathbb{E}[Y]|\ge ϵ)\le \frac{\text{Var}(Y)}{{ϵ}^2}$$

将 $Y={\overline{X}}_n$ 代入，得：

$$P\left(|{\overline{X}}_n-\mu |\ge ϵ\right)\le \frac{{\sigma }^2}{n{ϵ}^2}$$

步骤三：取极限

当 $n\to \infty$ 时，右边趋于 0：

$$\underset{n\to \infty }{\lim }\frac{{\sigma }^2}{n{ϵ}^2}=0$$

因此，根据切比雪夫不等式：

$$\underset{n\to \infty }{\lim }P\left(|{\overline{X}}_n-\mu |\ge ϵ\right)=0$$

这证明了弱大数定理。

3.2 强大数定理的证明（使用Borel-Cantelli引理）

证明思路：

强大数定理的证明比弱大数定理更为复杂，通常需要利用Borel-Cantelli引理。以下是一个基本的证明框架，假设 $X_i$ 独立同分布且满足某些条件。

步骤一：定义事件

设 $ϵ>0$，定义事件：

$$A_n=\left\{|{\overline{X}}_n-\mu |\ge ϵ\right\}$$

步骤二：应用切比雪夫不等式

同样地，有：

$$P(A_n)=P\left(|{\overline{X}}_n-\mu |\ge ϵ\right)\le \frac{{\sigma }^2}{n{ϵ}^2}$$

步骤三：求和

考虑级数：

∑