弱大数定律和强大数定律

设X₁，X₂，……X_n是i.i.d.随机变量，Y_n=(X₁+...+X_n)/n。若将X1，X2……Xn看做是随机变量X的n次采样，那么Y_n是X的采样平均。E[Y_n]=E[X]，Var(Y_n)=Var(X_n)/n。

从图形（图……）中可以直观看出，n越大，Y_n分布曲线就越陡峭，E[Y_n]在概率上就越能接近于m_x。然而，无论n如何大，总存在着这样的可能性，使得Y_n落在设定的精度之外。

[……待续]

 

弱大数定律和强大数定律有相同的条件，区别在于结论。弱大数说依概率收敛，强大数说以概率1收敛（或者说几乎处处收敛）。

依概率收敛的意思是，任意指定一个正数ε，无论n取多大，Xbar与μ的差大于ε的可能次数是无限的，但只要n足够大（比如满足切比雪夫不等式），差大于ε的次数占比趋于0。

[

1. 看弱大数定律的定义式和证明；

2. 注意区分弱大数定律定义式中的ε（ε₁）和极限定义中用的ε（ε₂），这是两个不同的ε；

3. 用极限的定义去理解弱大数定律的定义式（对任意小的正数ε₂， 总能找到一个数N，使得当n>N时，弱大数定律定义式的P<ε₂）。

4. 从3中可看出，P永不能取得0，而只能在极限的概念上趋近于0。也就是上面说的，

    a)无论n如何大，总存在着这样的可能性，使得Y_n落在设定的精度之外；

    b)Xbar与μ的差大于ε的可能次数是无限的，但占比趋于0。

]

 

以概率1收敛的意思是说只要n足够大，任意指定一个正数ε，总能找到一个N，使n>N时，Xbar与μ的差大于ε的次数是有限的。

 

大数定律要求期望有限，否则大数定律不成立。

仍然以抛硬币作为例子。

你抛了N次硬币，总可以在数学上计算出各种可能情况的概率。如果N较小，或许可以观察到全正面或全反面的情况；当N是一个大数，全正面或全反面的概率虽不能完全排除，但会迅速缩小。以大数定律的口吻来说，给定一个数ε1>0，总存在一个抛硬币次数N， 当实验次数大于N时，|出现正面频率-1/2|>ε1的概率小于一个指定的数ε2（弱），或|出现正面频率-1/2|>ε1只出现有限次（强）。[?]