第五章 大数定理与中心极限定理

5.1 列维-林德伯格中心极限定理

列维-林德伯格中心极限定理 是概率论中的一个重要定理，它阐述了独立同分布随机变量的和（或平均值）的分布在一定条件下趋近于正态分布。定理的表述如下：

设 ${\mathrm{X}}_1,{\mathrm{X}}_2,\cdots ,{\mathrm{X}}_n,\cdots$ 是一系列相互独立且服从相同分布的随机变量，且每个随机变量具有相同的数学期望 $\mathrm{E}(X_n)=\mu$ 和方差 $\mathrm{D}(X_n)={\sigma }^2$（对于所有 $n=1,2,\cdots$）。则对于任意实数 $x$，有：

$$\underset{n\to \infty }{\lim }P\left\{\frac{{\sum }_{k=1}^n{X}_k-n\mu }{\sqrt{n}\sigma }\le x\right\}=\Phi (x).$$

这里 $\Phi (x)$ 是标准正态分布的累积分布函数（CDF）。

中心极限定理的重要性在于它说明了在很多情况下，即使原始随机变量不是正态分布的，它们的和（或平均值）也趋近于正态分布。这个定理在统计学、自然科学以及社会科学中有广泛的应用，特别是在大样本近似中。

5.2 切比雪夫不等式

切比雪夫不等式（Chebyshev’s Inequality）是概率论中一个非常重要的结果，它提供了关于随机变量与其数学期望之差的界限。切比雪夫不等式的表述如下：

设随机变量 $\mathcal{X}$ 的数学期望为 $\mathcal{E}(\mathcal{X})=\mu$，方差为 $\mathcal{D}(\mathcal{X})={\sigma }^2$。则对于任意正实数 $\epsilon >0$，有：

P { ∣ X − E ( X ) ∣ ≥ ε } ≤ D ( X ) ε 2 或  P { ∣ X − E ( X ) ∣ < ε } ≥ 1 − D ( X ) ε 2 . \begin{aligned} &\mathrm{P}\left\{|\mathrm{X} - \mathrm{E}(\mathrm{X})| \geq \varepsilon \right\} \leq \frac{\mathrm{D}(\mathrm{X})}{\varepsilon^2} \\ &\text{或} \ \mathrm{P}\left\{|\mathrm{X} - \mathrm{E}(\mathrm{X})| < \varepsilon\right\} \geq 1 - \frac{\mathrm{D}(\mathrm{X})}{\varepsilon^2}. \end{aligned} ​P{∣X−E(X)∣≥ε}≤ε2D(X)​或 P{∣X−E(X)∣<ε}≥1−ε2D(X)​.​

这个不等式提供了随机变量 $\mathcal{X}$ 的值偏离其期望值 $\mu$ 超过某个阈值 $\epsilon$ 的概率的一个上界。换句话说，它告诉我们随机变量的值落在其期望值附近某个区间的概率至少有多大。

切比雪夫不等式在概率论和统计学中非常有用，尤其是在处理方差已知但分布未知的随机变量时。

Chebyshev’s Inequality is a probabilistic inequality that provides a bound on the probability that the value of a random variable deviates from its mean. The formal statement of the inequality is as follows:

Given a random variable $X$ with a finite expected value $\mu$ and a finite non-zero variance ${\sigma }^2$, for any real number $k>0$, Chebyshev’s Inequality is given by:

$$P(|X-\mu |\ge k\sigma )\le \frac{1}{k^2}$$

This inequality implies that the probability of $X$ deviating from its mean by at least $k$ standard deviations is at most $\frac{1}{k^2}$.

5.3 辛钦大数定律

辛钦大数定律（Khintchine’s Law of Large Numbers）是概率论中的一个基本定理，它描述了随机变量的样本均值在大样本极限下趋向于其期望值的行为。辛钦大数定律的表述如下：

设随机变量序列 ${\mathcal{X}}_1,{\mathcal{X}}_2,\cdots ,{\mathcal{X}}_n,\cdots$ 相互独立，且服从相同的分布。假设这些随机变量具有共同的数学期望 $\mathbb{E}({\mathbb{X}}_n)=\mu$（对于所有 $n=1,2,\cdots$）。则对于任意给定的正数 $\epsilon$，有：

$$\underset{n\to \infty }{\lim }\mathrm{P}\left\{\left|\frac{1}{n}\sum _{k=1}^n{X}_k-\mu \right|<\epsilon \right\}=1.$$

这个定理说明，在足够大的样本量下，随机变量的样本均值将以任意高的概率接近其期望值。换句话说，随着样本大小的增加，样本均值将收敛于总体均值。

辛钦大数定律是统计学和概率论中极为重要的结果之一，它为大样本理论提供了坚实的基础，并在实际应用中，如统计推断和参数估计，扮演了关键角色。