大数定律与中心极限定理

切比雪夫不等式和依概率收敛

切比雪夫不等式

$设随机变量X的数学期望E(X)和方差D(X)存在，对于任意的\epsilon >0，$$总有$
P { ∣ X − E ( X ) ∣ ⩾ ε } ⩽ D ( X ) ε 2 , 或 者 P { ∣ X − E ( X ) ∣ < ε } ⩾ 1 − D ( X ) ε 2 P\left \{ |X-E(X)|\geqslant \varepsilon \right \}\leqslant\frac{D(X)}{\varepsilon ^2},或者P\left \{ |X-E(X)|<\varepsilon \right \}\geqslant 1-\frac{D(X)}{\varepsilon ^2} P{∣X−E(X)∣⩾ε}⩽ε2D(X)​,或者P{∣X−E(X)∣<ε}⩾1−ε2D(X)​

依概率收敛

$设X_1{X}_2,X_3,....,X_n,是一个随机序列，A是一个常数，如果对于$
$任意的\epsilon >0有，$ lim ⁡ n → ∞ P { ∣ X n − A ∣ < ε } = 1 ， \lim\limits_{n\to\infty}P\left \{ |X_n-A|<\varepsilon \right\}=1， n→∞lim​P{∣Xn​−A∣<ε}=1，$即X_n落在以A为中心\epsilon 为半径的邻域里面，X_n\stackrel{p}{\to }A(X_n依概率P收敛于A)$

大数定律

切比雪夫大数定律

$设X_1{X}_2,X_3,....,X_n,是两两不相关的随机变量序列，其期望E(X_i)$，
$方差D(X_i)均存在，且存在常数C，使得D(X_i)⩽C，则对于任意的$，
$\epsilon >0，有$
$=\underset{n\to \infty }{\lim }P\left\{|\frac{1}{n}{\sum }_{i=1}^n{X}_i-\frac{1}{n}{\sum }_{i=1}^{n}E(X_i)|<\epsilon \right\}$
$=\underset{n\to \infty }{\lim }P\left\{|\overline{X}-E(\overline{X})|<\epsilon \right\}=1，$
$即随机变量的算数平均值依概率收敛于它的数学期望$

伯努力大数定律

$设随机变量X_n$~$B(n,p)，n=1,2,....,则对于任意的\epsilon >0，有$
$=\underset{n\to \infty }{\lim }P\left\{|\overline{X}-E(\overline{X})|<\epsilon \right\}$
= lim ⁡ n → ∞ P { ∣ X n − n p ∣ < ε } =\lim\limits_{n\to\infty}P\left \{ |X_n-np|<\varepsilon\right\} =n→∞lim​P{∣Xn​−np∣<ε}
$=\underset{n\to \infty }{\lim }P\left\{|\frac{X_n}{n}-p|<\epsilon \right\}=1$

辛钦大数定律

$设X_1{X}_2,X_3,....,X_n,独立同分布，其期望E(X_i)=\mu ,i=1,2,....,$，$则对于任意的\epsilon >0，有$
$=\underset{n\to \infty }{\lim }P\left\{|\overline{X}-E(\overline{X})|<\epsilon \right\}$
$=\underset{n\to \infty }{\lim }P\left\{|\frac{1}{n}{\sum }_{i=1}^n{X}_i-\mu |<\epsilon \right\}=1$

中心极限定理

$大量的独立同分布的随机变量X_1{X}_2,X_3,....,X_n,近似服从正态分布$

拉普拉斯中心极限定理

$设随机变量X_n$~$B(n,p)，则对于任意实数x，有$
$=\underset{n\to \infty }{\lim }P\left\{|\frac{\overline{X}-E(\overline{X})}{\sqrt{D(\overline{X})}}|⩽x\right\}(\frac{x-\mu }{\sigma })为正态分布标准化$
$=\underset{n\to \infty }{\lim }P\left\{|\frac{X_n-np}{\sqrt{np(1-p)}}|⩽x\right\}$
$=\Phi (x)$

林德伯格中心极限定理

$设独立同分布的随机变量X_1{X}_2,X_3,....,X_n,E(X_n)=\mu ，D(X_n)={\sigma }^2，$
$其中n=1,2,....,则对于任意的实数x，有$
$=\underset{n\to \infty }{\lim }P\left\{|\frac{\overline{X}-E(\overline{X})}{\sqrt{D(\overline{X})}}|⩽x\right\}(\frac{x-\mu }{\sigma })为正态分布标准化$
$=\underset{n\to \infty }{\lim }P\left\{|\frac{\frac{1}{n}{\sum }_{i=1}^n{X}_i-\mu }{\sqrt{\frac{{\sigma }^2}{n}}}|⩽x\right\}$
$=\underset{n\to \infty }{\lim }P\left\{|\frac{{\sum }_{i=1}^n{X}_i-n\mu }{\sqrt{n}\sigma }|⩽x\right\}$
$=\Phi (x)$