概率论与数理统计--大数定律与中心极限定理

大数定律

1. 切比雪夫不等式
   随机变量X的数学期望E(X)=a,方差为D(X)=$\sigma^2$，对任意$\epsilon$>0，有
   $$P\left( |X-a|\geq\epsilon \right)\leq \frac{\sigma^2}{\epsilon^2}$$
2. 切比雪夫大数定律
   随机变量X$_1$，X$_2$，X$_3$…..X$_n$，相互独立，且数学期望与方差都存在并相同：数学期望
   $$E(X_k)=\mu,D(X_k)=\sigma^2,k=1,2,3...$$
   对任意$\epsilon$>0，有
   $$\lim_{n \rightarrow +\infty}P\left( |\frac {1}{n} \sum_{i=1}^nX_i-\mu|<\epsilon \right)=1$$
3. 伯努利大数定律
   设事件A在试验E中出现的概率为P，现在将试验E独立重复地进行n次，事件A出现的总次数记为随机变量$\beta_n$，则对任意$\epsilon$>0，有
   $$\lim_{n \rightarrow +\infty}P\left( |\frac {\beta_n}{n} -p|<\epsilon \right)=1$$
4. 辛钦大数定律
   随机变量X$_1$，X$_2$，X$_3$…..X$_n$，相互独立，服从相同分布，且数学期望存在：
   $$E(X_k)=\mu,k=1,2,3...$$
   则对任意$\epsilon$>0，有
   $$\lim_{n \rightarrow +\infty}P\left( |\frac {1}{n} \sum_{i=1}^nX_i-\mu|<\epsilon \right)=1$$

中心极限定理

1. 雅普洛夫中心极限定理
   设随机变量X$_1$，X$_2$，X$_3$…..X$_n$，相互独立，服从相同分布，且数学期望和方差都存在：
   $$E(X_k)=\mu_k,D(X_k)=\sigma_k^2,k=1,2,3...$$
   为方便书写，不写其应用条件：
   记：
   $$B_n^2=\sum _{k=1}^n\sigma_k^2$$
   $$Y_n=\frac{\sum _{k=1}^nX_k-\sum _{k=1}^nE(X_k)}{\sqrt{\sum_{k=1}^nD(X_k)}}$$
   则对任意y$\in$R，有
   $$\lim_{n \rightarrow +\infty}P\left( Y_n\leq y\right)=\lim_{n \rightarrow +\infty}P\left(\frac{\sum _{k=1}^nX_k-\sum _{k=1}^nE(X_k)}{\sqrt{\sum_{k=1}^nD(X_k)}}\leq y\right)=Φ(y)$$
   $$\int_{-\infty}^y \frac {1} {\sqrt {2\pi}} e^{-\frac {x^2}{2}} {\rm d}x.$$
2. 独立同分布中心极限定理
   设随机变量X$_1$，X$_2$，X$_3$…..X$_n$，相互独立，服从相同分布，且
   $$E(X_k)=\mu,D(X_k)=\sigma^2\neq 0,k=1,2,3...$$
   则对任意y$\in$R，有
   $$\lim_{n \rightarrow +\infty}P\left(\frac{\sum _{k=1}^nX_k-n\mu}{\sqrt{n\sigma^2}}\leq y\right)=Φ(y)$$
3. 隶莫弗-拉普拉斯中心极限定理
   设$\beta_n$~B(n,p)，则对任意y，有
   $$\lim_{n \rightarrow +\infty}P\left(\frac{\beta_n-np}{np(1-p)}\leq y\right)=Φ(y)$$

---

谈一谈自己的总结吧：
大数定律与中心极限定理并不难，前者适用于讨论频率的稳定性，即在大量的独立重复试验中，事件A发生的频率会呈现稳定的趋势，即将频率的稳定值定义为事件A的概率。
而在实际应用中，有些随机变量可以看成由大量相互独立的随机因素的综合影响而形成的，这些因素是独立的，他们各自产生误差$X_k$，我们看到在n稍大之后，他们的分布曲线就非常接近于正态分布曲线，中心极限定理就是研究多个独立随机变量之和$\sum X_k$是否服从正态分布的问题。