概率论-大数率和中心极限定理（复习笔记自用）

大数律和中心极限定理

重要的不等式

(Markov)马尔可夫不等式

   

(Chebyshev)切比雪夫不等式

 

• 推导：马尔可夫不等式推导利用示性函数可以直观判断出，由马尔可夫不等式进行替换和平方操作可以推导出切比雪夫不等式，故称马尔可夫不等式为概率论中最重要的不等式。

• 应用：在已知期望的条件下，就可以用马尔可夫不等式估算概率；在方差较大，分布较集中的条件下，利用切比雪夫不等式估算能给出更好的判断

随机变量的收敛性

1.依分布收敛

在F的每个连续点x有则

2. 依概率收敛

任何则

3.几乎处处收敛

则 a.s.

三者的关系3-2-1依次减弱，直觉理解依概率收敛弱于处处收敛，均方收敛推出L1收敛，推出依概率收敛

收敛性一章节比照数学分析，基本一致

大数率

强大数律

样本均值处处收敛(a.s.) 

条件：独立同分布，期望存在

• 推导由马尔可夫不等式以及博雷尔坎泰利引理可得；

• 博雷尔坎泰利引理：证明略，直接进行说明，证明运用概率连续性以及上下极限（49）

• 内容：1. 2. 如果A相互独立

• 解释：如果概率和小于无穷，则以概率1保证A发生有限次以后再也不发生；如果概率和等于无穷，则以概率1 保证A必然发生无穷次。

• 注释：引理解释了不存在中间情况的发生，并且此处概率为1事件一定发生。我们通常所说的概率为0的事件可能发生，指每个样本点发生概率都为0，故必有某个概率为0事件发生，实验前并没有明确关心事件。

• 强大数率证明了概率按频率定义的正确性，并说明了样本均值以概率1 收敛到总体均值，概率为1的事件在实际中必然发生。

• 应用：估计量处处收敛，强相合估计（基本掌握期望，方差，分布函数的强相合估计）（无偏估计指估计量的期望等于参数）

• 推广： 科尔莫戈罗夫强大数定律

弱大数律

样本均值依概率收敛

注：关于强大数率和弱大数率的条件似乎是相同的，但是所得结论却明显强弱之分。在此的解释为其成立的临界条件并不相同，弱大数率的条件为尾部概率“足够小“（趋于0的速度比1/x更快）。

辛钦大数定律

独立同分布，数学期望存在，（不需要假定方差的存在性），可得依概率收敛的结论。

推导：特征函数；或者用强大数率也可直接推出

应用：矩估计的相合性，蒙特卡罗计算方法

切比雪夫大数定律（主要基于切比雪夫不等式）

有限的方差为条件，相互独立分布，可由马尔科夫大数定律推导得出（矩法），更具有一般性

• 马尔可夫大数定律

没有关于独立性的要求，只需满足马尔可夫条件（方差，再运用切比雪夫不等式证明）

• 伯努利大数定律

可由切比雪夫大数定律得出，也可以用切比雪夫不等式推导；是辛钦大数律的特殊情况

• 泊松大数定律

中心极限定理

独立同分布的随机变量

随机变量的部分和的标准化依分布收敛到标准正态分布（证明应用连续性定理，特征函数，泰勒展开）

• 推论：对于较大的n

1. 部分和近似成立

2. 样本均值近似成立

• 补充：当方差未知时，可采用 或者

• 实例：1.正态随机数的产生（均匀分布卷积,在蒙特卡罗方法中一般取n=12)

2.近似数定点运算的误差分析

• 推广：多元中心极限定理

• 伯努利分布：  当时

p越接近于1/2，大的分布接近于正态分布速度越快

• 近似公式：当n不足够大 min{np,nq}>=5时，使用近似公式

• 在伯努利分布的情况下，称为棣莫弗拉普拉斯极限定理

• 应用

• 由频率估计概率求P

• 求n

• 误差估计求

独立不同分布

林德伯格 费勒(Linderberg-feller)定理及其推论（推论用的更多）