概率论总结（五）：极限理论之大数定律、中心极限定理、概率收敛

目录：

• 马尔可夫和切比雪夫不等式
• 弱大数定律
• 依概率收敛
• 中心极限定理
  - 基于中心极限定理的近似
  - 二项分布的棣莫弗-拉普拉斯近似
• 强大数定律

马尔可夫和切比雪夫不等式

马尔可夫不等式粗略地讲,该不等式是指,一个非负随机变量如果均值很小,则该随机变量取大值的概率也非常小.

马尔可夫不等式：

例：　设 X 服从[0,4]的均匀分布.由马尔可夫不等式可得：
P(X>=2)=E[X]/2=2/2=1;P(X>=3)=E[X]/3=2/3;P(X>=4)=E[X]/4=2/4=1/2;
与真实概率进行比较:
P(X>=2)=1-P(X<2)=1-2/4=1/2;P(X>=3)=1/4;P(X>=4)=0;
可以看出由马尔可夫不等式给出的上界与真实概率相差非常远.

切比雪夫不等式粗略地讲,是指如果一个随机变量的方差非常小的话,那么该随机变量取远离均值μ的概率也非常小.注意：切比雪夫不等式并不要求所涉及的随机变量非负.

切比雪夫不等式:



所以一个随机变量的取值偏离其均值 k 倍标准差的概率最多是1/(k^2) .
切比雪夫不等式比马尔可夫不等式更准确,即由切比雪夫不等式提供的概率的上界离概率的真值更近.当然一个随机变量的均值和方差也仅仅是粗略地描述了随机变量的性质,所以由切比雪夫不等式提供的上界与精确概率也可能不是非常接近.

弱大数定律

弱大数定律是指独立同分布的随机变量序列的样本均值,在大样本的情况下,以很大的概率与随机变量的均值非常接近.


例 (选举问题)：　设 p 为选民支持某候选人的比例.现在“随机”地对 n 个选民进行调查,然后计算这 n 个选民对该候选人的支持率Mn,我们将 Mn视为 p 的估计,并研究它的性质.

“随机”的含义是指这 n 个选民是所有选民中的独立同分布样本.所以每个选民的回答也可以视为独立的伯努利随机变量Xi,Xi=1表示选民支持候选人,或“试验成功”.成功的概率为 p,Xi的方差为p(1-p).利用切比雪夫不等式可得:

当然参数 p 的真值是未知的.另外注意到p(1-p)<=1/4,所以:


也就是说,在n=100,的情况下,估计量Mn与 p 的真值相差大于0.1的概率不超过0.25.
现在考虑另一个问题,假设我们希望估计量与真值 p 相差不到0.01的概率至少超过95%,那么至少需要调查多少人?

由上式可得n>=50000.

依概率收敛

则称Yn依概率收敛于 a.
依概率收敛的定义也可以这样描述：



依概率收敛的定义有如下的形式：任意给定精度和置信水平,在 n 充分大时Yn等于 a.
例 设随机变量 Y 服从参数 λ=1的指数分布，对任意的正整数 n,定义Yn=Y/n,(注意该随机变量序列不是独立的.)现在研究Yn是否依概率收敛于0.



所以Yn依概率收敛于0.

中心极限定理

则Zn的分布函数的极限分布为标准正态分布函数.


**中心极限定理是一个非常具有一般性的定理.**对于定理的条件,除了序列为独立性同分布的序列之外,还假设各项的均值和方差的有限性.此外,对 的分布再也没有其他的要求. Xi的分布可以是离散的、连续的或是混合的.

基于中心极限定理的近似

中心极限定理允许人们可以将Zn的分布看成正态分布,从而可以计算与Zn相关的随机变量的概率问题.因为正态分布在线性变换下仍然是正态分布,所以可以将Sn视为均值为nμ ,方差为n(σ^2)的正态随机变量.

例 :飞机上运载100件包裹,每件包裹的重量是独立的随机变量,且在5磅到50磅之间均匀分布.那么这100件包裹的总重量超过3000磅的概率是多少?
(直接计算总重量的分布,从而计算该概率是非常不容易的.但是使用中心极限定理,可以很容易计算该概率的近似值.)


二项分布的棣莫弗-拉普拉斯近似



例 5.12　设Sn是服从参数为 n=36 和 p=0.5 的二项分布,则

是精确估计。
使用中心极限定理,若端点不经过修正,上述概率可以近似为：

若端点经过修正,可以得到：

上述计算说明,端点经过修正以后,近似的概率与精确概率非常接近.
使用端点修正技术,同样可以近似Sn在单点的概率,比如,

这也与真值:

非常接近.

强大数定律

强大数定律与弱大数定律一样,都是指样本均值收敛于真值 .但是,它们强调的是不同的收敛类别.


强大数定律是指样本空间中几乎所有可能的样本点都集中在这个特殊的子集中.换句话说,所有不在 A 中的可能结果组成的子集的概率为0.

强大数定律中的收敛与弱大数定律中的收敛是两个不同的概念.现在给出以概率1收敛的定义,并讨论这个新概念.
以概率1收敛


若某随机变量序列以概率1收敛于常数 c,则在样本空间中,全部的概率集中在满足极限等于 c 的无穷数列的子集上.但这并不意味其他的无穷数列是不可能的,只是它们是非常不可能的,即它们的概率为0.（因此概率为0的时间也有可能发生。）