第四章切比雪夫不等式、大数定理、中心极限定理

切比雪夫不等式

　设随机变量X具有数学期望$E(X)=\mu$，方差$D(X)=\sigma ^2$，对于任意$\varepsilon >0$，都有

$$P\{|X-\mu| \ge \varepsilon\} \le \dfrac{\sigma ^2}{\varepsilon ^2}$$
　

方差越大，X落在区间外的概率越大，X的波动也就越大，与方差的意义统一了。等价公式

$$P\{|X-\mu| < \varepsilon\} \ge 1-\dfrac{\sigma ^2}{\varepsilon ^2}$$

适用范围

　　期望、方差都存在的随机变量。

用途

　　对于随机变量落在期望附近区域内（或外）给出一个界的估计。

证明

　　证明的要点是意识到$D(X)=E((X-\mu)^2)$

大数定律

　　随机事件A的频率$f_n(A)$当重复试验的次数n增大时，总是呈现出稳定性，稳定在某一个常数附近。频率的稳定性是概率定义的客观基础。
　　随机变量与随机变量序列的区别看这里。感觉上：随机变量序列是多次随机试验结果写成数组形式。

辛钦大数定律

　　设$X_1,X_2...X_n$是相互独立且服从同一分布的随机变量序列，且具有数学期望$E(X_k)=\mu$，k=1,2,3…。则对于$\forall \varepsilon>0$，有

$$lim_{n->+\infty} P\{|\dfrac{1}{n} \sum_{k=1}^{n}X_k - \mu| < \varepsilon\}=1$$
　　 $|\dfrac{1}{n} \sum_{k=1}^{n}X_k - \mu| < \varepsilon$是一个随机事件。辛钦大数定律描述的是独立同分布且具有均值 $\mu$的随机变量 $X_1,X_2...X_n$，当n很大的时候，它们的 算术平均值$\dfrac{1}{n} \sum_{k=1}^{n}X_k$很可能接近于$\mu$。

依概率收敛

定义

　　设$Y_1,Y_2,...Y_n$为一个随机变量序列，c为一常数，若对于$\forall \varepsilon$，均有$lim_{n->+\infty} P\{|Y_n-c| \ge \varepsilon\}=0$成立，则称随机变量序列$\{Y_n,n>1\}$依概率收敛于c，记为$Y_n ->c$(这里记号有问题，表示不出来)，当$n->+\infty$。
　

性质

　若$X_n->a$(依概率)，$Y_n->b$(依概率)，当$n->+\infty$时，函数f(x,y)在点(a,b)处连续，那么$g(X_n,Y_n)->g(a,b)$(依概率)，当$n->+\infty$时。

辛钦大数定律第二种写法

　设$X_1,X_2...X_n$是相互独立且服从同一分布的随机变量序列，且具有数学期望$E(X_k)=\mu$，k=1,2,3…。则序列$\overline{X}=\dfrac{1}{n}\sum_{k=1}^{n}X_k$依概率收敛于$\mu$。记为$\overline{X}->\mu$(依概率)。
　说明：相当于辛钦大数定律使用依概率收敛写了一次。
　辛钦大数定律指出随机变量X的数学期望的近似值的方法：将随机变量独立重复地观察n次，记第k次的观测值为$X_k$，可将n次观测值的算术平均值作为期望的近似。

切比雪夫大数定律

　$X_1,X_2...X_n$是相互独立的随机变量，且具有相同的期望$\mu$，相同的方差$\sigma ^2$，那么$\dfrac{1}{n}\sum_{i=1}^{n}X_i \;->\mu$(依概率)。
　

伯努利大数定律

　设$f_n(A)$是n次独立重复试验中时间A发生的次数，p是事件A在每次试验中发生的概率，则对于任意正数$\varepsilon > 0$。有

$$lim_{n->+\infty}P\{|\dfrac{f_A}{n}-p<|\varepsilon\}=1$$ ，也可以表示为 $\dfrac{f_n(A)}{n}\sim p$(依概率)。
　伯努利大数定律指出当试验次数很大的时候可以用频率代替概率。

三个大数定律的比较

定律	分布情况	期望	方差	结论
辛钦大数定律	相互独立且同分布	存在		估算期望
切比雪夫大数定律	相互独立	相同	相同	估算期望
伯努利大数定律	二项分布	相同	相同	频率=概率
相同点：$n->+\infty$,依概率趋近	条件组件变得严格

中心极限定理

　　有许多随机变量，它们是由大量的相互独立的随机因素的综合影响形成的，其中每一个的因素在总影响中所起的作用都是微小的。这种随机变量往往近似的服从正态分布。
　　中心极限定理（central limit theorem）是概率论中讨论随机变量序列部分和分布渐近于正态分布的一类定理。这组定理是数理统计学和误差分析的理论基础，指出了大量随机变量累积分布函数逐点收敛到正态分布的积累分布函数的条件。(引用)

独立同分布的中心极限定理(CLT)

　　设随机变量$X_1,X_2...X_n$相互独立且同分布，$E(X_i)=\mu$，$D(X_i)=\sigma ^2$，i=1,2,…，则对于充分大的n，有$\sum_{i=1}^{n}X_i \sim (近似)N(n\mu,n\sigma^2)$。此时$P(a<\sum_{i=1}^{n}X_i<b) \approx \phi(\dfrac{b-n\mu}{\sqrt{n}\sigma})-\phi(\dfrac{a-n\mu}{\sqrt{n}\sigma})$。$\dfrac{1}{n}\sum_{i=1}^{n}X_i \sim (近似)N(\mu,\dfrac{\sigma ^2}{n})$

德莫佛-拉普拉斯定理

　　记$n_A$为n重伯努利试验中事件A发生的次数，并记事件A在每次试验中发生的概率为p，则对于充分大的n有$n_A \sim (近似)N(np,np(1-p))$