概率论-4.1 大数定律

切比雪夫不等式(证明)：
P(| X-E(X) |<a)>=1-Var(X) / a^2

伯努利大数定律(n重伯努利试验)：
记Sn为n重伯努利试验中事件A出现的次数，称Sn/n为事件A出现的频率
设p为每次试验事件A发生的概率则，对任意a>0都有
lim(n->正无穷) P(| Sn/n-p |<a)=1
证明：
Var(Sn/n)= Var(Sn)/n^2=n*p*q/n2=p*q/n
由切比雪夫不等式得
lim(n->正无穷) [P(| Sn/n-p |<a)]>=lim(n->正无穷) [1-Var(Sn/n) / a^2]=1
于是有lim(n->正无穷) P(| Sn/n-p |<a)=1
结论：频率的稳定于概率

大数定律的一般形式：
随机变量序列的算术平均数
概率收敛到
其均值的算术平均
设Sn为n个随机变量(X1,…,Xn)值和
Sn/n=Sum(Xi)/n，p=Sum(E(Xi))/n
若有lim(n->正无穷) P(| Sum(Xi)/n-Sum(E(Xi))/n |<a)=1
则称随机变量序列{Xi}服从大数定律

切比雪夫大数定律(方差存在)：
设随机变量序列{Xi}为一列两两不相关的随机变量序列，且每个Xi方差存在，则{Xi}服从大数定律
证明：lim(n->正无穷) P(| Sum(Xi)/n-Sum(E(Xi))/n |<a)=1
由两两不相关可得
Var(Sum(Xi)/n)=Sum(Var(Xi))/n^2 <= nMax{Var(Xi)}/n^2=Max{Var(Xi)}/n
由切比雪夫不等式得
P(| Sum(Xi)/n-E(Sum(Xi)/n) |<a)>=1-Max{Var(Xi)}/(na^2)
lim(n->正无穷) P(| Sum(Xi)/n-Sum(E(Xi))/n |<a)=1
证毕

马尔可夫条件：
lim(n->正无穷) Var(Sum(Xi))/n^2 -> 0
马尔代夫大数定律(仅需要马尔可夫条件)：
设有随机变量序列{Xi}，若有马尔可夫条件成立，则{Xi}服从大数定律
证明：lim(n->正无穷) P(| Sum(Xi)/n-Sum(E(Xi))/n |<a)=1

lim(n->正无穷) Var(Sum(Xi))/n^2 -> 0
推出
lim(n->正无穷) Var(Sum(Xi)/n) -> 0

由切比雪夫不等式可得
P(| Sum(Xi)/n-E(Sum(Xi)/n) |<a)>=1-Var(Sum(Xi)/n) / a^2
lim(n->正无穷) P(| Sum(Xi)/n-Sum(E(Xi))/n |<a)=1
证毕

辛钦大数定律(独立同分布，期望存在)：
设随机变量序列{Xi}为独立同分布，若Xi的数学期望存在，则{Xi}服从大数定律
证明：
参考期望的定义可证