统计篇（六）-- 大数定律与中心极限定理

长路漫漫2021

已于 2022-10-24 18:49:27 修改

阅读量1.4w

点赞数 55

分类专栏： Math 文章标签：概率论机器学习人工智能大数定律中心极限定理

于 2021-09-28 11:51:04 首次发布

本文链接：https://blog.csdn.net/xq151750111/article/details/120439438

版权

Math 专栏收录该内容

20 篇文章

订阅专栏

极限定理是概率论的基本理论，在理论研究和应用中起着重要的作用，其中最重要的是称为“大数定律”与“中心极限定理”的一些定理。大数定律是叙述随机变量序列的前一些项的算术平均值在某种条件下收敛到这些项的均值的算术平均值；中心极限定理则是确定在什么条件下，大量随机变量之和的分布逼近于正态分布。本文根据一些经典的教材和大神的总结，并结合自己的理解，在这里整理成自己的学习笔记。

1 随机变量序列的两种收敛性

（1）依概率收敛
设 $X_1, X_2, \cdots, X_n, \cdots$ 为概率空间 $(\Omega, F, P)$ 上定义的随机变量序列（简称随机序列），若存在随机变数 $a$ ，对任意正数 $\epsilon$ ，恒有
$\lim_{n \to \infty} P( \lvert X_n - a\rvert \geq \epsilon) = 0 \quad 或 \quad \lim_{n \to \infty} P( \lvert X_n - a\rvert \leq \epsilon) = 1$
则称随机序列 ${X_n\}$ 依概率收敛于随机变量 $a$ ( $a$ 也可以是一个常数)，记作 $X_n \overset{P}{\to} a$

依概率收敛的两个含义：

收敛：表明这是一个随机变量序列，而不是某个随机变量；且序列是无限长，而不是有限长。
依概率：表明序列无穷远处的随机变量 $X_\infty$ 的分布规律为：绝大部分分布于点 $a$ ，极少数位于 $a$ 之外。且分布于 $a$ 之外的事件发生的概率之和为0。

（2）依概率收敛的性质

若 $X_n \overset{P}{\to} a，Y_n \overset{P}{\to} b$ ；则：
$X_n \pm Y_n \overset{P}{\to} a \pm b \\ X_n Y_n \overset{P}{\to} ab \\ X_n \div Y_n \overset{P}{\to} a \div b$
设函数 $g (x, y)$ 在点 $(a, b)$ 连续，则：
$g(X_n, Y_n) \overset{P}{\to} g(a, b)$

（3）弱收敛（按分布收敛）
        随机变量 $X_1, X_2, \cdots$ 的分布函数为 $F_1(x), F_2(x), \cdots$ ，若对于 $F (x)$ 的任意一个连续点 $x$ ，有：
$\lim_{n \to \infty}F_n(x) = F(x)$
        则称分布函数序列 ${F_n(x)}$ 弱收敛于 $F (x)$ ，记作
$F_n(x) \overset{W}{\to} F(x)$
        也称 ${X_n}$ 按分布收敛于 $X$ ，记作
$X_n \overset{L}{\to} X$

2 切比雪夫不等式

2.1 切比雪夫不等式

假设随机变量 $X$ 具有期望 $\mu$ ，方差 $\sigma^2$ ，则对于任意正数 $\epsilon$ ，下面的不等式成立：
$P\{ \lvert X - \mu \rvert \geq \epsilon \} \leq \frac{\epsilon^2}{\sigma^2}$

        其意义是：对于距离 $E (X)$ 足够远的地方（距离大于等于 $\epsilon$ ），事件出现的概率是小于等于 $\frac{\sigma^2}{\epsilon^2}$ 。即事件出现在区间 $[\mu - \epsilon, \mu + \epsilon]$ 的概率大于 $\frac{\sigma^2}{\epsilon^2}$ 。 所以该不等式给出了随机变量 $X$ 在分布未知的情况下，事件 $\{ \lvert X -\mu \rvert\ \leq \epsilon\}$ 的下限估计。
        证明：
        我们以连续随机变量的情况来证明，离散的情况类似可证。设连续随机变量 $X$ 的密度函数为 $f (x)$ ，事件 $X$ 即表示 $X$ 落在区间 $(\mu - \epsilon, \mu + \epsilon)$ 外，因此在积分范围内恒有 $\frac{(x - \mu)^2}{\epsilon^2} \geq 1$ ，故：

$\{ \lvert X - \mu \rvert \geq \epsilon \}= \int_{\lvert X - \mu \rvert \geq \epsilon }p(x)dx \leq \int_{\lvert X - \mu \rvert \geq \epsilon }\frac{{\lvert X - \mu \rvert}^2}{\epsilon^2}p(x)dx \\ \leq \frac{1}{\epsilon^2} \int_{-\infty}^{\infty} {\lvert X - \mu \rvert}^2p(x)dx = \frac{\sigma^2}{\epsilon^2}$

3 大数定律

大数定律（Law of Large Numbers，LLN）是指某个随机事件在单次试验中可能发生也可能不发生，但在大量重复实验中往往呈现出明显的规律性，即该随机事件发生的频率会向某个常数值收敛，该常数值即为该事件发生的概率。另一种表达方式为当样本数据无限大时，样本均值趋于总体均值。

大数定律的作用：现实生活中，我们无法进行无穷多次试验，也很难估计出总体的参数。大数定律告诉我们能用频率近似代替概率；能用样本均值近似代替总体均值。

大数定律的表达方式主要有：辛钦大数定律、切比雪夫（Cheby—shev）大数法则、贝努利（Bernoulli）大数法则。

3.1 辛钦大数定律

弱大数定律即辛钦大数定律，设 $X_1, X_2, \cdots$ 是相互独立，服从同一分布的随机变量序列，且具有数学期望 $E(X_k) = \mu (k = 1, 2, \cdots)$ 。前 $n$ 个变量的算术平均 $\frac{1}{n} \sum_{k = 1}^{n}X_k$ ，则对任意 $\epsilon > 0$ ，有
$\lim_{n \to \infty}P\{\lvert \frac{1}{n} \sum_{k = 1}^{n}X_k - \mu \rvert < \epsilon \} = 1$

辛钦大数定理从理论上指出，对于独立同分布且具有均值 $\mu$ 的随机变量 $X_1, \cdots, X_n$ ，当 $n$ 很大时，用它们的算术平均值 $\frac{1}{n} \sum_{k = 1}^{n}X_k$ 来近似实际真值 $\mu$ 是合理的。

另外一种描述，设随机变量 $X_1, X_2, \cdots, X_n, \cdots$ 相互独立，服从同一分布且具有数学期望 $E(X_k) = \mu (k = 1, 2, \cdots)$ ，则序列 $\overline{X} = \frac{1}{n} \sum_{k = 1}^{n}X_k$ 依概率收敛于 $\mu$ ，即 $\overline{X} \overset{P}{\to} \mu$ 。

注：（1）这里并没有要求随机变量 $X_1, X_2, \cdots, X_n, \cdots$ 的方差存在。（2）当 $X$ 为服从0-1分布的随机变量时，辛钦大数定律就是伯努利大数定律，故伯努利大数定律是辛钦伯努利大数定律的一个特例。

3.2 伯努利大数定理

设 $f_A$ 是 $n$ 次独立重复试验中事件 $A$ 发生的次数， $p$ 是事件 $A$ 在每次试验中发生的概率，则对于任意正数 $\epsilon > 0$ ，有：
$\lim_{n \to \infty}P\{\lvert \frac{f_A}{n} - p \rvert < \epsilon \} = 1 \quad 或 \quad \lim_{n \to \infty}P\{\lvert \frac{f_A}{n} - p \rvert \geq \epsilon \} = 0$

伯努利大数定律说明：当独立重复实验执行非常大的次数时，事件 $A$ 发生的频率逼近于它的概率。

3.3 切比雪夫大数定律

设随机变量 $X_1, X_2, \cdots, X_n$ 相互独立，分别有数学期望 $E(X_1), E(X_2), \cdots, E(X_n)$ 及方差 $D(X_1), D(X_2), \cdots, D(X_n)$ 并且方差是一致有界的，即存在某一个常数 $K$ ，使得 $D(X_k)< K, k=1, 2, \cdots$ 则对任意 $\epsilon > 0$ ，恒有
$\lim_{n \to \infty}P(\lvert \frac{1}{n} \sum_{k=1}^{n}X_k - \frac{1}{n} \sum_{i=1}^{n}E(X_k) \rvert < \epsilon) =1$

切比雪夫大数定理的意义：由于独立随机变量 $X_1, X_2, \cdots, X_n$ 的算术平均值 $\overline{X_n} = \frac{1}{n} \sum_{k=1}^{n} X_k$ 的数学期望 $E(\overline{X_n}) = \frac{1}{n} \sum_{k=1}^{n} E(X_k)$ 及方差 $D(\overline{X_n}) = \frac{1}{n^2} \sum_{k=1}^{n} D(X_k)$ ，当各个方差一致有界时， $D(\overline{X_n}) < \frac{1}{n^2}nK = \frac{K}{n}$ ，由此可见，当 $n$ 充分大时，随机变量 $X_n$ 的分布的分散度是很小的， $\overline{X_n}$ 的值比较集中在其数学期望附近。

3.4 马尔科夫大数定律

马尔科夫条件：
$\lim_{n \to \infty} \frac{D(\sum_{k =1}^{n}X_k)}{n^2} = 0$
满足马尔科夫条件的随机变量序列 $X_n$ 服从大数定律。

小结：

大数定理	分布	期望	方差	用途
伯努利	二项分布	相同	相同	估算概率
辛钦	独立同分布	相同	相同	估算期望
切比雪夫	独立	存在	存在有限	估算期望

小概率原理或实际推断原理——一个事件如果发生的概率很小的话，那么它在一次试验中是几乎不可能发生的，但在多次重复试验中几乎是必然发生的。统计学里，把小概率事件在一次实验中看成是实际不可能发生的事件，一般认为等于或小于0.05或0.01的概率为小概率。实际推断原理通常在假设检验中使用，即如果小概率事件在一次试验中居然发生了，则有理由首先怀疑原假设的真实性，从而拒绝原假设。

4 中心极限定理

当样本量 $n$ 逐渐趋于无穷大时， $n$ 个抽样样本的均值的频数逐渐趋于正态分布，其对原总体的分布不做任何要求，意味着无论总体是什么分布，其抽样样本的均值的频数的分布都随着抽样数的增多而趋于正态分布。如下图所示：

注：图中虚线表示正态分布，可以发现当样本量 $n$ 逐渐增大时，样本的分布趋于正态分布。

4.1 独立同分布的中心极限定理

设随机变量 $X_1, X_2, \cdots, X_n, \cdots$ 相互独立，服从同一分布，且具有数学期望和方差： $E(X_k) = \mu, \quad D(X_k) = \sigma^2 (k = 1, 2, \cdots)$ ，则随机变量之和 $\sum_{k = 1}^{n}X_k$ 的标准化变量
$Y_n = \frac{\sum_{k=1}^{n}X_k - E(\sum_{k=1}^{n}X_k)}{\sqrt{D(\sum_{k=1}^{n}X_k)}} = \frac{\sum_{k=1}^{n}X_k - n\mu}{\sqrt n \sigma}$
的分布函数 $F_n(x)$ 对于任意 $x$ 满足
$\lim_{n \to \infty}F_n(x) = \lim_{n \to \infty}P\{\frac{ \sum_{k = 1}^{n}X_k - n \mu}{\sqrt{n} \sigma} \leq x \} = \int_{-\infty}^{x}\frac{1}{\sqrt{2 \pi}}e^{-t^2/2}dt = \Phi(x)$
其物理意义为：均值方差为 $\mu, \sigma^2$ 的独立同分布的随机变量 $X_1, X_2, \cdots, X_n$ 之和 $\sum_{k = 1}^{n}X_k$ 的标准变化量 $Y_n$ ，当 $n$ 充分大时，其分布近似于标准正态分布。一般情况下，很难求出 $n$ 个随机变量之和的分布函数。因此当 $n$ 充分大时，可以通过正态分布来做理论上的分析或者计算。

4.2 棣莫弗-拉普拉斯定理

棣莫弗-拉普拉斯（De Moivre-Laplace）中心极限定理是独立同分布中心极限定理的特殊情况，它是最先被发现的中心极限定理。设随机变量 $\eta_n(n=1, 2, \cdots)$ 服从参数为 n, p(0<p<1)的二项分布，则对于任意 a，有：
$\lim_{n \to \infty}P\{\frac{\eta_n - np}{\sqrt{np(1-p)}} \leq a \} = \int_{-\infty}^{x}\frac{1}{\sqrt{2 \pi}}e^{-t^2/2}dt = \Phi(x)$

该定理表明，正态分布是二项分布的极限分布。当 $n$ 充分大时，我们可以利用上式来计算二项分布的概率。

4.3 独立不同分布下的中心极限定理

长度、重量、时间等等实际测量量一般符合正态分布，因为它们受各种微小的随机因素的扰动。这些随机因素的独立性是很普遍的，但很难说它们一定同分布。

实际上，一系列独立不同分布的随机变量也可能满足中心极限定理，只是这些不同分布的随机变量要有所限制。以下给出两个独立不同分布下的中心极限定理，不予证明，简单扩展一下。

4.3.1 林德伯格中心极限定理

设 ${ X_n\}$ 是一系列相互独立的连续随机变量，它们具有有限的期望 $E(X_k) = \mu_k$ 和方差 $D(X_k) = \sigma_{k}^{2}$ ，记 $Y_n = \sum_{k = 1}^{n}X_k, \quad D(Y_n) = \sum_{k = 1}^{n}\sigma_{k}^{2} = B_{n}^{2}$ ，记 $X_k$ 的概率密度函数是 $f_i(x)$ ，若
$\forall \tau > 0：\lim_{n \to \infty} \frac{1}{\tau^2 B_n^2}\sum_{k=1}^{n} \lvert X - \mu \rvert \geq \tau B_n (x - \mu)^2f_k(x)dx = 0$
则
$\lim_{n \to \infty}P(\frac{1}{B_n}\sum_{k = 1}^{n}(X_k - \mu) < a) = \Phi(a)$

林德伯格中心极限定理对 ${ X_n \}$ 的约束基本上是最弱的，也就是最强的中心极限定理。

4.3.2 Lyapunov定律

        设随机变量 $X_1, X_2, \cdots, X_n, \cdots$ 相互独立，他们具有数学期望和方差：
$E(X_k) = \mu_k，\quad D(X_K) = \sigma_{k}^2>0，k = 1, 2, \cdots$
        记 $B_{n}^2 = \sum_{k = 1}^{n} \sigma_{k}^2$
        若存在正数 $\delta$ ，使得当 $\to \infty$ 时，
$\frac{1}{B_{n}^{2 + \delta}} \sum_{k=1}^{n}E\{{\lvert X_k - \mu_k \rvert }^{2 + \delta}\} \to 0$
        则随机变量之和 $\sum_{k = 1}^{n}X_k$ 的标准化变量
$Z_n = \frac{\sum_{k = 1}^{n}X_k - E(\sum_{k = 1}^{n}X_k)}{\sqrt{D(\sum_{k = 1}^{n}X_k)}} = \frac{\sum_{k = 1}^{n}X_k - \sum_{k = 1}^{n}\mu_k}{B_n}$
        的分布函数 $F_n(x)$ 对于任意 $x$ ，满足
$\lim_{n \to \infty}F_n(x) = \lim_{n \to \infty}P\{ \frac{\sum_{k = 1}^{n}X_k - \sum_{k = 1}^{n}\mu_k}{B_n} \leq x\} \\ = \int_{-\infty}^{x}\frac{1}{\sqrt{2 \pi}}e^{-t^2/2}dt = \Phi(x)$

该定理表明，随机变量
$Z_n = \frac{\sum_{k = 1}^{n}X_k - \sum_{k = 1}^{n}\mu_k}{B_n}$

当 $n$ 很大时，近似地服从正态分布 $N (0 ， 1)$ 。由此，当 $n$ 很大时， $\sum_{k = 1}^{n}X_k = B_nZ_n + \sum_{k = 1}^{n}\mu_k$ 近似地服从正态分布 $N(\sum_{k = 1}^{n}\mu_k, B_n^2 )$ 。这就是说，无论各个随机变量 $X_k(k=1, 2, \cdots)$ 服从什么分布，只要满足定理的条件，那么它们的 $\sum_{k = 1}^{n}X_k$ ，当 $n$ 很大时，就近似地服从正态分布。