大数定律和中心极限定理

最近学习过程中会遇到概率相关的问题，这里对晦涩难懂的大数定律和中心极限定理做一个汇总。

大数定律

大数定律告诉我们: 当对一个随机变量进行无限次采样时，能用频率近似代替概率，能用样本均值近似代替总体均值。

• 强大数定律想证明: 采样的次数越多，平均值几乎一定越来接近真实期望值
• 弱大数定律想证明：采样的次数越多，平均值接近真实期望值的可能性越来越大

设 $X_1,X_2,...,X_n,....$ 这些变量相互独立，是服从 同一分布 的随机变量序列， $E(X_k)=\mu$， ${\mu }_n=\sum _{i=1}^n{X}_i/n$。

强大数定律认为：$\forall ϵ>0,P(\underset{n\to \infty }{\lim }|{\mu }_n-\mu |\le ϵ)=1$

弱大数定律认为：$\forall ϵ>0,\underset{n\to \infty }{\lim }P(|{\mu }_n-\mu |\le ϵ)=1$

上述公式的差别其实仅仅在$P$ 与 $lim$ 符号的位置，但是两者的含义却有很大差异。我们不妨改写一下公式的极限部分

强大数定律:
$\forall ϵ>0,\exists N\in {\mathbb{N}}^{+},$ 当 $n>N$ 时，$P(|{\mu }_n-\mu |<ϵ)=1$

弱大数定律：
$\forall ϵ>0,\forall \delta >0,\exists N\in {\mathbb{N}}^{+}$，当 $n>N$ 时， $|P(|{\mu }_n-\mu |\le ϵ)-1|\le \delta$

由上述化简后的式子可以看出：

• 对于强大数定律， 随着 $n$ 的不断增大，$\forall ϵ>0，P(|{\mu }_n-\mu |<ϵ)=1$ 这件事几乎是必然发生，${\mu }_n$ 几乎一定能 不断接近真实的$\mu$。

• 对于弱大数定律，随着 $n$ 的不断增大，$\forall ϵ>0，P(|{\mu }_n-\mu |<ϵ)=1$ 这件事 发生的概率 是逐渐增大的，${\mu }_n$ 越有可能 接近真实的$\mu$。

---

以上总结参考于：https://www.zhihu.com/question/21110761