第五章 大数定律与中心极限定理

第五章 大数定律与中心极限定理

一、车比雪夫不等式

定理 设 $X$ 为随机变量，且存在有限的 $DX$，则对 $\forall \varepsilon > 0$ ，有

$$P\{ |X-EX| \geqslant \varepsilon \} \leqslant \frac{DX}{(\varepsilon)^2} \quad \text{或} \quad P\{ |X-EX| > \varepsilon \} \geqslant 1 - \frac{DX}{(\varepsilon)^2}$$

---

二、大数定律

定理1 车比雪夫大数定律
设 $X_1, X_2, \cdots, X_n$ 相互独立且存在 $c > 0$ 使得 $DX_i \leqslant c (i = 1, 2, \cdots)$，则对任意的 $\varepsilon > 0$，有

$$\lim_{n \to \infty} P\{ | \frac{1}{n}\sum_{i=1}^{n}X_i - \frac{1}{n} \sum_{i=1}^n EX_i | < \varepsilon\} = 1$$

定理2 独立同分布的大数定律
设 $X_1, X_2, \cdots, X_n$ 相互独立同分布且 $EX_i = \mu$， $DX_i = \sigma^2(i=1,2,\cdots)$，则对 $\forall \varepsilon > 0$，有

$$\lim_{n \to \infty} P\{ |\frac{1}{n}\sum_{i=1}^n X_i - \mu| < \varepsilon \} = 1$$

定理3 辛钦大数定律
设 $X_1, X_2, \cdots, X_n$ 相互独立同分布且 $EX_i = \mu$，则对 $\forall \varepsilon > 0$，有

$$\lim_{n \to \infty} P\{ |\frac{1}{n}\sum_{i=1}^n X_i - \mu| < \varepsilon \} = 1$$

所有大数定律都是指在随机变量组在独立的条件下，若干个随机变量的平均值依概率收敛到其数学期望的平均值，即

$$\frac{1}{n} \sum_{i=1}^n X_i \longrightarrow E(\frac{1}{n} \sum_{i=1}^{n} X_i^k) = \mu$$
更进一步， $$\frac{1}{n} \sum_{i=1}^n X_i^l \longrightarrow E(\frac{1}{n}\sum_i^k X_i^k)$$

---

三、中心极限定理

定理1 Levy-Lindberg
设 $X_1, X_2, \cdots, X_n$ 相互独立同分布且期望 $EX_i = \mu$和方差 $DX_i = \sigma^2$ 都存在，则对 $\forall x$，有

$$\lim_{n \to \infty} \, P\{ \frac{\sum_{i=1}^n X_i -n\mu}{\sqrt{n}\sigma} \leqslant x\} = \Phi(x)$$

定理2 Laplace
设 $X \sim B(n, p)$，且 $X_1, X_2, \cdots, X_n$ 相互独立，则对 $\forall x$，有

$$\lim \, P\{ \frac{X_n - np}{\sqrt{np(1-p)}} \leqslant x\} = \Phi(x)$$