大数定律

       随机事件的概率是对大量的重复试验中随机事件的频率具有稳定性这一客观规律抽象的结果。实际上，不仅仅是随机事件的频率具有稳定性，大量随机现象的平均结果一般也具有稳定性，即不论个别随机现象的结果以及它们在进行过程中的个体特征如何，大量随机现象的平均结果与各个随机现象的特征无关。概率论中用来阐述大量随机现象平均结果的稳定性的理论称为大数定律。

1、伯努利大数定律     

2、常用的几个大数定律

2.1、大数定律的一般形式

2.2、切比雪夫大数定律

       注意，切比雪夫大数定律只要求互不相关（相互独立或互不相关），并不要求它们是同分布的。因此，很容易推出：如果是独立同分布的随机变量序列，且方差有限，则必定服从大数定律。伯努利大数定律是切比雪夫大数定律的特例。

2.3、马尔可夫大数定律

       马尔可夫大数定律的重要性在于：对已经没有任何同分布、独立性、不相关的假定。切比雪夫大数定律显然可由马尔可夫大数定律推出。

2.4、辛钦大数定律

       我们已经知道，一个随机变量的方差存在，则其数学期望必定存在；但反之不成立，即一个随机变量但数学期望存在，其方差不一定存在。以上几个大数定律均假设随机变量序列的方差存在，以下的辛钦大数定律去掉了这一假设，仅设每个的数学期望存在，但同时要求为独立同分布但随机变量序列。伯努利大数定律也是辛钦大数定律但特例。

       定理（辛钦大数定律）设为一独立同分布但随机变量序列，若的数学期望存在，则服从大数定律，即对于任意的，下式成立：

 
       由辛钦定理可知，如果随机变量相互独立，服从同一分布且具有数学期望，则前n个随机变量的算术平均值依概率收敛于它们的数学期望。如果存在，则依概率收敛于。这是在数理统计中求参数点估计的矩估计法的理论基础。