大数定律

定义

Law of Large Numbers, LLN.

• 当大量重复同一个实验时，实验的平均结果会接近于期望值
• 重复次数越多越接近

例如掷色子，随着次数增加，得到的所有色子值的均值会越来越接近于：

$$\frac {1 + 2+ 3+4+5+6}{6} = 3.5$$

它有两种形式：强大数定律与弱大数定律。

它们的前提条件相同，但结论不同：

• 随机变量$X_1, X_2, \dots, X_n$独立同分布(i.i.d, independently identical distribution)
• 期望值$E(X)$存在， 且$E(X) = \mu$