概率论的两个重要定理： 大数定理 和 中心极限定理 （不废话版）

大数定理

弱大数定理（辛钦定理）

$X_1,X_2\dots$是相互独立， 服从同一分布的随机变量序列， 数学期望为 $E(X_k)=\mu (k=1,2,\cdots )$, 则对于任意$ϵ>0$:
$$\underset{n\to \infty }{\lim }P\left\{\left|\frac{1}{n}\sum _{k=1}^n{X}_k-\mu \right|<\epsilon \right\}=1$$
中文版本：当选取样本数量足够多时， 样本的均值无限逼近于分布的均值。

中心极限定理

同分布的中心极限

设$X_1,X_2\dots$是相互独立， 服从同一分布的随机变量序列 $E\left(X_k\right)=\mu ,D\left(X_k\right)={\sigma }^2>0$， 有：
$$\frac{1}{n}\sum _{k=1}^n{X}_k\sim \mathcal{N}(\mu ,{\sigma }^2/n)$$
中文版本： 当样本数量足够多时， 样本均值服从均值为分布均值， 方差为分布方差的$n$分之一的高斯分布。

不同分布的中心极限（李雅普诺夫定理）

设$X_1,X_2\dots$是相互独立， 不一定服从同一分布， 有:
$$E\left(X_k\right)={\mu }_k,D\left(X_k\right)={\sigma }_k^2>0,k=1,2,\cdots ,$$
记： $B_n^2={\sum }_{k=1}^n{\sigma }_k^2$。
有：
$$\sum _{k=1}^n{X}_k\sim \mathcal{N}({\Sigma }_{k=1}^n{\mu }_k,B_n^2)$$
也即：
$$\frac{1}{n}\sum _{k=1}^n{X}_k\sim \mathcal{N}(\frac{1}{n}{\Sigma }_{k=1}^n{\mu }_k,\frac{1}{n^2}{B}_n^2)$$
中文版本：当样本数量足够多时， 样本均值服从高斯分布， 其均值为样本的均值的均值。 方差为样本方差的均值。

切比雪夫不等式与大数定理的证明

$$E\left(\frac{1}{n}\sum _{k=1}^n{X}_k\right)=\frac{1}{n}\sum _{k=1}^{n}E\left(X_k\right)=\frac{1}{n}(n\mu )=\mu ,$$
$$D\left(\frac{1}{n}\sum _{k=1}^n{X}_k\right)=\frac{1}{n^2}\sum _{k=1}^{n}D\left(X_k\right)=\frac{1}{n^2}\left(n{\sigma }^2\right)=\frac{{\sigma }^2}{n}$$
由切比雪夫不等式：
$$1⩾P\left\{\left|\frac{1}{n}\sum _{k=1}^n{X}_k-\mu \right|<\epsilon \right\}⩾1-\frac{{\sigma }^2/n}{{\epsilon }^2}$$
切比雪夫不等式中文版本：随机变量远离均值的概率正比于方差。
令 $n\to \infty$, :
$$\underset{n\to \infty }{\lim }P\left\{\left|\frac{1}{n}\sum _{k=1}^n{X}_k-\mu \right|<\epsilon \right\}=1$$