大数律和中心极限定理
重要的不等式
(Markov)马尔可夫不等式
(Chebyshev)切比雪夫不等式
推导:马尔可夫不等式推导利用示性函数可以直观判断出,由马尔可夫不等式进行替换和平方操作可以推导出切比雪夫不等式,故称马尔可夫不等式为概率论中最重要的不等式。
应用:在已知期望的条件下,就可以用马尔可夫不等式估算概率;在方差较大,分布较集中的条件下,利用切比雪夫不等式估算能给出更好的判断
随机变量的收敛性
1.依分布收敛
在F的每个连续点x有则
2. 依概率收敛
任何则
3.几乎处处收敛
则 a.s.
三者的关系3-2-1依次减弱,直觉理解依概率收敛弱于处处收敛,均方收敛推出L1收敛,推出依概率收敛
收敛性一章节比照数学分析,基本一致
大数率
强大数律
样本均值处处收敛(a.s.)
条件:独立同分布,期望存在
推导由马尔可夫不等式以及博雷尔坎泰利引理可得;
博雷尔坎泰利引理:证明略,直接进行说明,证明运用概率连续性以及上下极限(49)
内容:1. 2. 如果A相互独立
解释:如果概率和小于无穷,则以概率1保证A发生有限次以后再也不发生;如果概率和等于无穷,则以概率1 保证A必然发生无穷次。
注释:引理解释了不存在中间情况的发生,并且此处概率为1事件一定发生。我们通常所说的概率为0的事件可能发生,指每个样本点发生概率都为0,故必有某个概率为0事件发生,实验前并没有明确关心事件。
强大数率证明了概率按频率定义的正确性,并说明了样本均值以概率1 收敛到总体均值,概率为1的事件在实际中必然发生。
应用:估计量处处收敛,强相合估计(基本掌握期望,方差,分布函数的强相合估计)(无偏估计指估计量的期望等于参数)
推广: 科尔莫戈罗夫强大数定律
弱大数律
样本均值依概率收敛
注:关于强大数率和弱大数率的条件似乎是相同的,但是所得结论却明显强弱之分。在此的解释为其成立的临界条件并不相同,弱大数率的条件为尾部概率“足够小“(趋于0的速度比1/x更快)。
辛钦大数定律
独立同分布,数学期望存在,(不需要假定方差的存在性),可得依概率收敛的结论。
推导:特征函数;或者用强大数率也可直接推出
应用:矩估计的相合性,蒙特卡罗计算方法
切比雪夫大数定律(主要基于切比雪夫不等式)
有限的方差为条件,相互独立分布,可由马尔科夫大数定律推导得出(矩法),更具有一般性
马尔可夫大数定律
没有关于独立性的要求,只需满足马尔可夫条件(方差,再运用切比雪夫不等式证明)
伯努利大数定律
可由切比雪夫大数定律得出,也可以用切比雪夫不等式推导;是辛钦大数律的特殊情况
泊松大数定律
中心极限定理
独立同分布的随机变量
随机变量的部分和的标准化依分布收敛到标准正态分布(证明应用连续性定理,特征函数,泰勒展开)
推论:对于较大的n
部分和近似成立
样本均值近似成立
补充:当方差未知时,可采用 或者
实例:1.正态随机数的产生(均匀分布卷积,在蒙特卡罗方法中一般取n=12)
2.近似数定点运算的误差分析
推广:多元中心极限定理
伯努利分布: 当时
p越接近于1/2,大的分布接近于正态分布速度越快
近似公式:当n不足够大 min{np,nq}>=5时,使用近似公式
在伯努利分布的情况下,称为棣莫弗拉普拉斯极限定理
应用
由频率估计概率求P
求n
误差估计求
独立不同分布
林德伯格 费勒(Linderberg-feller)定理及其推论(推论用的更多)