大数定律与中心极限定理

大数定律与中心极限定理

• 大数定律是指在随机试验中，每次出现的结果不同，但是大量重复试验出现的结果的平均值却几乎总是接近于某个确定的值

• 中心极限定理指出大量的独立随机变量之和具有近似于正态分布

大数定律

辛钦大数定理
设$X_1,X_2,...$是相互独立,服从同一分布的随机变量序列,且具有数学期望$E(X_k)=\mu ,k=1,2...$,则对于任意$\epsilon >0$有 lim ⁡ n → ∞ P { ∣ 1 n ∑ k = 1 n X k − μ ∣ < ε } = 1 \lim_{n\rightarrow\infty}P\{|\frac{1}{n}\sum_{k=1}^nX_k-\mu|<\varepsilon\}=1 limn→∞​P{∣n1​∑k=1n​Xk​−μ∣<ε}=1

辛钦大数定理证明
证:方差$Var(X_k)={\sigma }^2,k=1,2,\dots$
因为$E(\frac{1}{n}{\sum }_{k=1}^{\infty }{X}_i)=\frac{1}{n}{\sum }_{k=1}^{\infty }E(X_i)=\frac{1}{n}(n\mu )=\mu$
又由独立性得:
$Var(\frac{1}{n}{\sum }_{k=1}^n{X}_k)=\frac{1}{n^2}{\sum }_{k=1}^{n}Var(X_k)=\frac{1}{n^2}(n{\sigma }^2)=\frac{{\sigma }^2}{n}$
由切比雪夫不等式得: 1 ≥ P { ∣ 1 n ∑ k = 1 n X k − μ ∣ < ε } ≥ 1 − σ 2 n ε 2 1\ge P\lbrace |\frac{1}{n}\sum_{k=1}^{n}X_k-\mu|<\varepsilon \rbrace \ge 1-\frac{\frac{\sigma^2}{n}}{\varepsilon^2} 1≥P{∣n1​∑k=1n​Xk​−μ∣<ε}≥1−ε2nσ2​​
若上式中令$n\to \infty$,即得: lim ⁡ n → ∞ P { ∣ 1 n ∑ k = 1 n X k − μ ∣ < ε } = 1 \lim_{n \rightarrow \infty}P \lbrace |\frac{1}{n}\sum_{k=1}^{n}X_k-\mu| < \varepsilon\rbrace=1 limn→∞​P{∣n1​∑k=1n​Xk​−μ∣<ε}=1

伯努利大数定理
设$f_k$是n次独立重复试验中事件A发生的次数,p是事件A每次试验中发生的概率,则对任意正数$\epsilon >0$,有 lim ⁡ n → ∞ P { ∣ f A n − p ∣ < ε } = 1 \lim_{n\rightarrow\infty}P\{|\frac{f_A}{n}-p|<\varepsilon\}=1 limn→∞​P{∣nfA​​−p∣<ε}=1或 lim ⁡ n → ∞ P { ∣ f A n − p ∣ ≥ ε } = 0 \lim_{n\rightarrow\infty}P\{|\frac{f_A}{n}-p|\ge \varepsilon\}=0 limn→∞​P{∣nfA​​−p∣≥ε}=0

伯努利大数定理证明
证:因为${\mu }_n$~b(n,p),由切比雪夫不等式得:
1 ≥ P { ∣ μ n n − p ∣ < ε } ≥ 1 − V a r ( μ n n ) ε 2 = 1 − p ( 1 − p ) ε 2 1 \ge P\lbrace|\frac{\mu_n}{n}-p| < \varepsilon \rbrace \ge 1-\frac{Var(\frac{\mu_n}{n})}{\varepsilon^2}=1-\frac{p(1-p)}{\varepsilon^2} 1≥P{∣nμn​​−p∣<ε}≥1−ε2Var(nμn​​)​=1−ε2p(1−p)​
当$n\to +\infty$时,上式右端趋于1,因此 lim ⁡ n → + ∞ P { ∣ μ n n − p ∣ < ε } = 1 \lim_{n\rightarrow +\infty}P \lbrace |\frac{\mu_n}{n}-p| < \varepsilon \rbrace =1 limn→+∞​P{∣nμn​​−p∣<ε}=1结论得证

切比雪夫大数定律
设 { X n } \lbrace X_n \rbrace {Xn​}为一列两两不相关的随机变量序列,若每个$X_i$的方差存在,且有共同上界,即$Var(X_i)\le c,i=1,2,\cdots$,则 { X n } \lbrace X_n \rbrace {Xn​}服从大数定律,即对任意的$\epsilon >0$,有
P { ∣ 1 n ∑ i = 1 n X i − 1 n ∑ i = 1 n E ( X i ) ∣ < ε } ≥ 1 − V a r ( 1 n ∑ i = 1 n X i ) ε 2 ≥ 1 − c n ε 2 P\lbrace |\frac{1}{n}\sum_{i=1}^{n}X_i-\frac{1}{n}\sum_{i=1}^{n}E(X_i)|<\varepsilon \rbrace \ge 1-\frac{Var(\frac{1}{n}\sum_{i=1}^{n}X_i)}{\varepsilon^2} \ge 1-\frac{c}{n\varepsilon^2} P{∣n1​∑i=1n​Xi​−n1​∑i=1n​E(Xi​)∣<ε}≥1−ε2Var(n1​∑i=1n​Xi​)​≥1−nε2c​
于是当$n\to +\infty$时,有
lim ⁡ n → + ∞ P { ∣ 1 n ∑ i = 1 n X i − 1 n ∑ i = 1 n E ( X i ) ∣ < ε } = 1 \lim_{n \rightarrow +\infty}P\lbrace |\frac{1}{n}\sum_{i=1}^{n}X_i-\frac{1}{n}\sum_{i=1}^{n}E(X_i)|<\varepsilon \rbrace=1 limn→+∞​P{∣n1​∑i=1n​Xi​−n1​∑i=1n​E(Xi​)∣<ε}=1.

马尔可夫大数定律
对随机变量序列 { X n } \lbrace X_n \rbrace {Xn​},若$\frac{1}{n^2}Var({\sum }_{i=1}^n{X}_i)\to 0$成立,则$X_n$服从大数定律,即对任意的$\epsilon >0$,
lim ⁡ n → + ∞ P { ∣ 1 n ∑ i = 1 n X i − 1 n E ( X i ) ∣ < ε } = 1 \lim_{n \rightarrow +\infty}P\lbrace| \frac{1}{n}\sum_{i=1}^{n}X_i-\frac{1}{n}E(X_i)|<\varepsilon \rbrace=1 limn→+∞​P{∣n1​∑i=1n​Xi​−n1​E(Xi​)∣<ε}=1

中心极限定理

林德伯格——列维中心极限定理(独立同分布情形下的中心极限定理)
设$X_1,X_2,\dots$是一个独立同分布的随机变量序列,且$E(X_i)=\mu ,Var(X_i)={\sigma }^2>0,i=1,2,\dots$则对任意的$x\in (-\infty ,+\infty )$总有${\lim }_{n\to \infty }P(\frac{{\sum }_{i=1}^n{X}_i-n\mu }{\sqrt{n}\sigma }\le x)=\Phi (x)$
其中$\Phi (x)$是N(0,1)的分布函数

德莫弗-拉普拉斯中心极限定理
设$X_1,X_2,\dots$是一个独立同分布的随机变量序列,且每个$X_i$都服从0—1分布B(1,p)，则对任意一个x,$-\infty <x<\infty$总有${\lim }_{n\to \infty }P(\frac{{\sum }_{i=1}^{n}Xi-np}{\sqrt{np(1-p)}}\le x)=\Phi (x)$