大数定理与中心极限定理

大数定理与中心极限定理

中心极限定理：    大量相互独立的随机变量，其均值（或者和）的分布以正态分布为极限（意思就是当满足某些条件的时候，比如Sample Size比较大，采样次数区域无穷大的时候，就越接近正态分布）。而这个定理amazing的地方在于，无论是什么分布的随机变量，都满足这个定理。

 

大数定理    简单的可以描述为，如果有一个随机变量X，你不断的观察并且采样这个随机变量，得到了n个采样值，，然后求得这n个采样值得平均值，当n趋向于正无穷的时候，这个平均值就收敛于这个随机变量X的期望。

 

假设检验中经常用到 某个统计量标准化（减期望再比方差）后的渐进分布是标准正态，这个应该是中心极限定理最常见的应用之一。

中心极限定理是说一定条件下，当变量的个数趋向于无穷大时，它们的和趋向于正态分布。而大数定律是当重复独立试验次数趋于无穷大时，平均值（包括频率）具有稳定性。两者是完全不同的。

大数定律说的是随机现象平均结果稳定性。

中心极限定理论证随机变量的和的极限分布是正态分布。

 

可以这样理解大数定律和中心极限定理：1、大数定律和中心极限定理可以看做随机变量的零阶和一阶“泰勒展开”，其中大数定律是随机变量的“零阶估计”，中心极限定理是在大数定律成立下的“一阶导数”，在极限下高阶小量可忽略。2、大数定律负责给出估计——期望，中心极限定理负责给出大数定律的估计的误差——标准差乘以标准正态分布。3、通过泰勒展开我们可以对中心极限定理的应用范围有一个直观的估计。为了使泰勒展开成立，我们假设了高阶小量在取平均（除以后）是可以忽略的。为了使这一点成立，我们至少需要样本量和方差在同一量级上或者更小。4、其实我们还可以进行更高阶的展开，貌似三阶展开对应的统计量叫做skewness，wiki上常用分布的词条都会给出这一数值。不过实际应用中中心极限定理已经足够，所以通常也就不需要了。