弱大数定律与强大数定律、中心极限定理

弱大数定律

  随机变量序列${\xi }_1,...,{\xi }_n,...$，令${\eta }_n=\frac{1}{n}{\sum }_{i=1}^n{\xi }_i$，如果存在常数序列$a_1,...,a_n,...$，对任意的$ϵ>0$，恒有
$$\underset{n\to \infty }{\lim }P(|{\eta }_n-a_n|<ϵ)=1$$
则称序列 { ξ n } \{\xi_n\} {ξn​}服从大数定律。

1. 切比雪夫大数定律

  随机变量序列${\xi }_1,...,{\xi }_n,...$两两不想关，每一随机变量均有有限的方差，且有公共上界
$$D{\xi }_1\le C,D{\xi }_2\le C,...,D{\xi }_n\le C,....$$
则对任意$ϵ>0$，有
$$\underset{n\to \infty }{\lim }P(|\frac{1}{n}\sum _{i=1}^n{\xi }_i-\frac{1}{n}\sum _{i=1}^{n}E{\xi }_i|<ϵ)=1$$
即${\eta }_n=\frac{1}{n}{\sum }_{i=1}^n{\xi }_i\stackrel{P}{\to }E{\eta }_n$

2. 马尔可夫大数定律

  随机变量序列${\xi }_1,...,{\xi }_n,...$若满足
$$\frac{1}{n^2}D(\sum _{k=1}^n{\xi }_k)\to 0$$
则对任意$ϵ>0$，有
$$\underset{n\to \infty }{\lim }P(|\frac{1}{n}\sum _{i=1}^n{\xi }_i-\frac{1}{n}\sum _{i=1}^{n}E{\xi }_i|<ϵ)=1$$
即${\eta }_n=\frac{1}{n}{\sum }_{i=1}^n{\xi }_i\stackrel{P}{\to }E{\eta }_n$

3. 伯努利大数定律

  设${\mu }_n$是$n$次伯努利试验中事件A出现的次数，而$p$是事件A在每次试验中出现的概率，则对任意$ϵ>0$，都有
$$\underset{n\to \infty }{\lim }P(|\frac{{\mu }_n}{n}-p|<ϵ)=1$$

4. 泊松大数定律

  如果在一个独立试验序列中，事件A在第k次试验中出现的概率等于$p_k$，记${\mu }_n$是$n$次试验中事件A出现的次数，则对任意$ϵ>0$，都有
$$\underset{n\to \infty }{\lim }P(|\frac{{\mu }_n}{n}-\frac{p_1+...+p_n}{n}|<ϵ)=1$$

5. 辛钦大数定律

  随机变量序列${\xi }_1,...,{\xi }_n,...$相互独立，服从相同的分布，且具有有限的期望$\mu =E{\xi }_n$，则对任意$ϵ>0$，有
$$\underset{n\to \infty }{\lim }P(|\frac{1}{n}\sum _{i=1}^n{\xi }_i-\mu |<ϵ)=1$$
即${\eta }_n=\frac{1}{n}{\sum }_{i=1}^n{\xi }_i\stackrel{P}{\to }\mu$

强大数定律

  独立随机变量序列${\xi }_1,...,{\xi }_n,...$若满足${\eta }_n=\frac{1}{n}{\sum }_{i=1}^n{\xi }_i\stackrel{a.s.}{\to }E{\eta }_n$，即
$$P(\underset{n\to \infty }{\lim }\frac{1}{n}\sum _{i=1}^n({\xi }_i-E{\xi }_i)=0)=1$$
则称它满足强大数定律。

1. 博雷尔强大数定律

  设${\mu }_n$是$n$次独立试验中事件A出现的次数，而在每次试验中事件A出现的概率是$p$，则
$$P(\underset{n\to \infty }{\lim }\frac{{\mu }_n}{n}=p)=1$$

2. 柯尔莫哥洛夫强大数定律

  独立随机变量序列${\xi }_1,...,{\xi }_n,...$，若满足
$$\sum _{i=1}^n\frac{D{\xi }_i}{n^2}<\infty$$
则
$$P(\underset{n\to \infty }{\lim }\frac{1}{n}\sum _{i=1}^n({\xi }_i-E{\xi }_i)=0)=1$$

  随机变量序列${\xi }_1,...,{\xi }_n,...$相互独立同分布，则
$$\frac{1}{n}({\xi }_1+...+{\xi }_n)\stackrel{a.s.}{\to }a$$
成立的充要条件是$E{\xi }_i$存在且等于$a$。

中心极限定理

  独立随机变量序列${\xi }_1,...,{\xi }_n,...$，假定$E{\xi }_i$及$D{\xi }_i$存在，令
$${\zeta }_n=\frac{{\sum }_{i=1}^n{\xi }_i-{\sum }_{i=1}^{n}E{\xi }_i}{\sqrt{{\sum }_{i=1}^{n}D{\xi }_i}}$$
若${\zeta }_n\sim \mathcal{N}(0,1)$，即
$$\underset{n\to \infty }{\lim }P({\zeta }_n<x)=\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^x{e}^{-t^2/2}dt$$
则称序列 { ξ n } \{\xi_n\} {ξn​}服从中心极限定理。

林德贝格-勒维中心极限定理

  独立同分布随机变量序列${\xi }_1,...,{\xi }_n,...$，假定$E{\xi }_i=\mu$及$D{\xi }_i={\sigma }^2$存在，且$0<{\sigma }^2<\infty$，令
$${\zeta }_n=\frac{{\sum }_{i=1}^n{\xi }_i-{\sum }_{i=1}^{n}E{\xi }_i}{\sqrt{{\sum }_{i=1}^{n}D{\xi }_i}}$$
则${\zeta }_n\sim \mathcal{N}(0,1)$。

摘自：
概率论基础——李贤平