中心极限定理_High Dimensional Probability(1) 中心极限定理

1. 大数定理与中心极限定理

关于大数定理有一个很常见的描述，就是掷一枚硬币很多次，最终出现的正面次数和反面次数各占比

，即：

当n足够大时，某一事件事件出现的频率将几乎接近于其发生的概率。大数定理描述了无限次实验情况下的期望值(Expactation)，而中心极限定理则是思考在有限次/无限次实验下我们得到的结果的概率分布是个什么样子。

这个概率分布具体来说就是概率分布的concentration inequalities。Concentration Inequality主要是用来衡量一个随机变量X偏离其均值程度的概率，一般具有如下形式：

2. 中心极限定理 ：一系列独立同分布的随机变量，他们标准化后的均值(

)呈正态分布

Let

be

real variables with finite mean

and variance

for some

. Let

,

then

converges in distribution to

as

i.e. ,

,

where

以上为中心极限定理的书面形式。翻译成人话就是说当试验次数n趋近与无穷的时候，

趋近于标准正态分布（均值为0，方差为1的正态分布），即一系列独立同分布的随机变量的

呈正态分布

对各个部分的解释： 1.

， 2. i.i.d: independent and identity distribution 独立同分布，指每个

相互独立但又服从相同的分布。3. Pr是probability的简写。 4. Converges in distribution是一种比较弱的convergence，不同于convergence in probability。下图是详细解释

这里

代表X的CDF。

3. 延伸定理：Berry-Esseen Central Limit Theorem

由于中心极限定理本身所探讨的是当样本趋近于无穷的情况下

的distribution，但并不能得出

所对应每一个值的准确概率，同时由于不能表达在n不为无穷大时

的分布，所以在实际应用中并不实用。而Berry-Esseen则是更准确的描绘了非无穷大时

的分布。

Berry-Esseen: Under the conditions of the Central Limit Theorem, it holds that

where

is some absolute constant and

注：Berry-Esseen 说明了对x的approximation error会随着N的增加以

的速度减小。