机器学习数学基础（二）概率论（下）

复习《概率论与数理统计(浙大 第四版)》笔记整理

目录
- 1.概率论基础
- 2.统计量
- 3.大数定律
- 4.中心极限定理
- 5.最大似然估计

---

3.大数定律

3.1 定义：

设随机变量$X_1$,$X_2$,…,$X_n$相互独立，并且具有相同的期望$\mu$和方差$\sigma^2$。取前n个随机变量的平均

$$Y_n=\frac{1}{n}\sum_{i=1}^{n}X_i$$
则对于任意ε>0，有
$$\lim_{n \to \infty}P\{ \left| Y_n - \mu \right| < \varepsilon \} = 1$$

3.2 意义：

当n很大时候，随机变量$X_1$,$X_2$,…,$X_n$的平均值$Y_n$在概率意义下无限接近期望$\mu$

3.3 证明

证明之前先复习一下切比雪夫不等式

切比雪夫不等式定理 设随机变量$X$具有数学期望$E(X)=\mu$，方差$D(X)=\sigma^2$，则对于任意$\varepsilon>0$，不等式

$$P\{ \left| X - \mu \right| \geq \varepsilon \} \leq \frac{\sigma^2}{\varepsilon^2}$$