概率论 | 大数定律与中心极限定理

大数定律

概率论中的收敛

收敛概念的引入

在概率论中，研究随机变量序列的收敛性是很重要的。概率论的思想发源就是以无限次数的试验得到的统计参数来近似得到试验所模拟的事实的真相。这个统计参数可以是一个具体试验的概率，数学期望，方差等等。但是在开始做一系列的研究工作之前，我们更关心的是这个试验得到的统计参数是不是能够体现试验的数字特征，否则研究本身就没有意义。

收敛的引入能够为解决上述问题提供很好的基础工具，因为将随机变量序列近似转变为一个随机变量后，统计参数就有了实际意义。

收敛的描述对象是随机变量序列，其中的所有随机变量取值符合分别符合某种概率分布。为了简化理解，我们假设所有的随机变量是离散的；并且为了消除离散变量的取值不确定性对概念理解造成的干扰，我们利用 “平行世界” 的想法，将随机变量序列的所有取值数列全部列出，并将取值图像画出。这样我们就消除了随机变量序列中变量取值的不确定性对概念的理解造成的干扰。

上图中，对于每个固定的空间编号，$X_i$ 轴方向上从前到后的取值代表了随机变量序列的每一种取值数列。而有多少个空间编号就对应了有多少种不同的随机变量序列的数列取值。垂直于空间编号与 $X_i$ 轴的方向上的高度代表随机变量的取值或数字特征。为清晰起见，用蓝色虚线将每种数列取值按随机变量序列从前到后的顺序连成一条光滑曲线，由此也可以大致类比连续随机变量的类似性质。

处处收敛与几乎处处收敛

（以下定义一随机变量序列 { X n } \{X_n\} {Xn​} 和一随机变量 $X$）
引入收敛的定义后，我们可以类比数列极限，很容易地首先提出随机变量序列 $X_n$ 随着 $n$ 的增大，取值无限接近一定值的情况。更一般地，如果我们要获得原随机变量序列的数字特征，我们也可以想到随机变量序列无限接近一随机变量 $X$，并用 $X$ 的数字特征来近似代表原随机变量序列的数字特征。由此，我们可以引入处处收敛的概念。

处处收敛 ，指的是对于随机变量序列 { X n } \{X_n\} {Xn​} 的所有可能取值数列，都满足 $X_n\to X(n\to \infty )$ 的情况。
（注意区别于下面所说的几乎处处收敛）

然而，在连续随机变量序列中，很有可能取不到个别值，但是其数字特征是有意义的，所以以下的几乎处处收敛才是概率论中常用的概念。

几乎处处收敛     \quad\ \,  对于随机变量 $X$ 和随机变量序列 { X n } \{X_n\} {Xn​}，若 P { lim ⁡ n → ∞ X n = X } = 1 , P\{\lim_{n\to\infty}{X_n}=X\}=1, P{n→∞lim​Xn​=X}=1, 则称随机变量序列 { X n } \{X_n\} {Xn​} 几乎处处收敛（或以概率 $1$ 收敛）于随机变量 $X$，简记为： $X_n\stackrel{a.s.}{\to }X.$

从两个定义本身的区别就可以看出：几乎处处收敛可以适用于一个测度为 $0$ 的区域不满足收敛条件的情况。（简单的例子就如在连续闭区间中挖掉有限个点，此时收敛概率为 $1$ ，但是并不是处处都收敛）