大数定理与中心极限定理

一、大数定理

在概率论中，大数定理是由概率的统计定义“频率收敛于概率”引申而来的。

【定理1】
设 $X_1,X_2,X_3,\cdots ,X_n,\cdots$ 是独立同分布的随机变量，记它们的公共均值为 $a$，又设它们的方差存在并记为 ${\sigma }^2$，则对任意给定的 $\epsilon >0$，有$$\underset{n\to \infty }{\lim }P(|\overline{X_n}-a|\ge \epsilon )=0$$

其中，频率 $\overline{X_n}=(X_1+\cdots +X_n)/n$.

这个式子指出：当 $n$ 很大时，$\overline{X_n}$ 接近 $a$。

二、中心极限定理

在很一般的情况下，和的极限分布就是正态分布。在概率论上，习惯于把和的分布收敛于正态分布的那一类定理都叫做“中心极限定理”。

【定理2】
设 $X_1,X_2,X_3,\cdots ,X_n,\cdots$ 为独立同分布的随机变量，$E(X_i)=a,\text{Var}(X_i)={\sigma }^2(0<{\sigma }^2<\infty )$。则对任何实数 $x$，有 $$\underset{n\to \infty }{\lim }P(\frac{1}{\sqrt{n}\sigma }(X_1+\cdots +X_n-na)\le x)=\Phi (x)$$

这里，$\Phi (x)$ 是标准正态分布 $N(0,1)$ 的分布函数，即 $$\Phi (x)=\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^{\infty }{e}^{-t^2/2}\text{d}t$$

注意到 $X_1+\cdots +X_n$ 有均值 $na$，方差 $n{\sigma }^2$，故 $$(X_1+\cdots +X_n-na)/\sqrt{n}\sigma$$

就是 $X_1+\cdots +X_n$ 的标准化，即使其均值变为0、方差变为1，以与 $N(0,1)$ 的均值、方差符合。
这个定理指出，虽然在一般情况下我们很难求出 $X_1+\cdots +X_n$ 的分布的确切形式，但是当 $n$ 很大时，可以通过 $\Phi (x)$ 给出其近似值。

【定理3】
设 $X_1,X_3,\cdots ,X_n,\cdots$ 独立同分布，$X_i$ 的分布是 $$P(X_i=1)=p,P(X_i=0)=1-p(0<p<1)$$

则对任何实数 $x$，有 $$\underset{n\to \infty }{\lim }P(\frac{1}{\sqrt{np(1-p)}}(X_1+\cdots +X_n-np)\le x)=\Phi (x)$$

【定理3】是【定理2】的特例，只需注意 $E(X_i)=p,\text{Var}(X_i)=p(1-p)$. 又此处 $X_1+\cdots +X_n$ 服从二项分布 $B(n,p)$，故【定理3】是用正态分布去逼近二项分布。

【注】本文内容来自《概率论与数理统计》（陈希儒）