大数定理及中心极限定理

切比雪夫不等式

设随机变量$X$具有数学期望$E(X)=\mu$,方差$D(X)=\sigma^2$,对于任意整数$\epsilon$，不等式

P{|X−μ|≥ϵ}≤σ2ϵ2 P { | X − μ | ≥ ϵ } ≤ σ 2 ϵ 2

$$P\{|X-\mu|\geq\epsilon\}\leq\dfrac{\sigma^2}{\epsilon^2}$$
成立
这一不等式称为 切比雪夫不等式

大数定理

$(I)$切比雪夫大数定理

设$X_1,X_2,\cdots$是相互独立的，服从同一分布的随机变量序列,如果方差$D(X_k)(k\geq1)$存在且有一致上界，即存在常数$C$，使得$D(X_k)\leq C$对于一切$k\geq1$均成立，则称序列服从大数定理：

$$\dfrac{1}{n}\sum_{i=1}^{n}X_i\mathop{\longrightarrow}^{P}\dfrac{1}{n}\sum_{i=1}^{n}E(X_i)$$

$(II)$辛钦大数定理

设$X_1,X_2,\cdots$是相互独立的，服从同一分布的随机变量序列，且具有数学期望$E(X_k)=\mu(k=1,2,\cdots)$.作前$n$个变量的算数平均$\dfrac{1}{n}\sum\limits_{k=1}^{n}X_k$，则对于任意$\epsilon>0$，有

limn→∞P{∣∣∣1n∑k=1nXk−μ∣∣∣<ϵ}=1 lim n → ∞ P { | 1 n ∑ k = 1 n X k − μ | < ϵ } = 1

$$\lim_{n\rightarrow\infty}P\left\{\left|\dfrac{1}{n}\sum_{k=1}^{n}X_k-\mu\right|<\epsilon\right\}=1$$

辛钦大数定理的另一种描述

设$Y_1,Y_2,\cdots$是一个随机变量序列，$a$是一个常数，若对于任意正数$\epsilon$有

limn→∞P{|Yn−a|<ϵ}=1 lim n → ∞ P { | Y n − a | < ϵ } = 1

$$\lim_{n\rightarrow\infty}P\{|Y_n-a|<\epsilon\}=1$$
则称序列 $Y_1,Y_2,\cdots,Y_n,\cdots$ 依概率收敛于 $a$，记为：
$$Y_n\mathop{\longrightarrow}\limits^{P}a$$
依概率收敛的序列有以下性质。
设 $X_n\mathop{\longrightarrow}\limits^{P}a$, $Y_n\mathop{\longrightarrow}\limits^{P}b$又设函数 $g(x,y)$在点 $(a,b)$,则 $$g(X_n,Y_n)\mathop{\longrightarrow}\limits^{P}g(a,b)$$
于是辛钦大数定理可以描述为：
弱大数定理(辛钦大数定理) 设随机变量 $X_1,X_2,\cdots,X_n,\cdots$相互独立，服从同一分布且具有数学期望 $E(X_k)=\mu(k=1,2,\cdots)$,则序列 $\overline{X}=\dfrac{1}{n}\sum\limits_{k=1}^{n}X_k$,依照概率收敛于 $\mu$,即 $\overline{X}\mathop{\longrightarrow}\limits^{P}\mu$
辛钦大数定理的一个 重要推论：

$(III)$伯努利大数定理

设$f_A$是$n$次独立重复试验中事件$A$发生的次数，$p$是事件$A$在每次试验中发生的概率，则对于任意正数$\epsilon>0$有：

limn→∞P{∣∣∣fAn−p∣∣∣<ϵ}=1 lim n → ∞ P { | f A n − p | < ϵ } = 1

$$\lim_{n\rightarrow\infty}P\left\{\left|\dfrac{f_A}{n}-p\right|<\epsilon\right\}=1$$
或
$$\lim_{n\rightarrow\infty}P\left\{\left|\dfrac{f_A}{n}-p\right|\geq\epsilon\right\}=0$$

中心极限定理

$(IV)$(独立同分布的中心极限定理)

设随机变量$X_1,X_2,\cdots,X_n,\cdots$相互独立，服从同一分布，且具有数学期望和方差：$E(X_k)=\mu,D(X_k)=\sigma^2>0(k=1,2,\cdots)$，则随机变量之和$\sum\limits_{k=1}^{n}X_k$的标准化变量

Yn=∑nk=1Xk−E(∑nk=1Xk)D(∑nk=1Xk)−−−−−−−−−−√=∑nk=1Xk−nμn−−√σ Y n = ∑ k = 1 n X k − E ( ∑ k = 1 n X k ) D ( ∑ k = 1 n X k ) = ∑ k = 1 n X k − n μ n σ

$$Y_n=\dfrac{\sum_{k=1}^{n}X_k-E(\sum_{k=1}^{n}X_k)}{\sqrt{D(\sum_{k=1}^{n}X_k)}}=\dfrac{\sum_{k=1}^{n}X_k-n\mu}{\sqrt{n}\sigma}$$
的分布函数 $F_n(x)$对于任意 $x$满足
$$\lim_{n\rightarrow\infty}F_n(x)=\lim_{n\rightarrow\infty}P\left\{\dfrac{\sum_{k=1}^{n}X_k-n\mu}{\sqrt{n}\sigma}\leq x\right\}=\int_{-\infty}^{x}\dfrac{1}{\sqrt{2\pi}}e^{-t^2/2}\mathbb{d}t=\color{red}{\Phi(x)}$$

---

标准正态分布
特别当$\mu=0,\sigma=1$时称变量$X$服从标准正态分布，其概率密度和分布函数分别用$\phi(x),\Phi(x)$表示，既有：

$$\phi(x)=\dfrac{1}{\sqrt{2\pi}}e^{-x^2/2}\\ \Phi(x)=\dfrac{1}{\sqrt{2\pi}}\int_{-\infty}^{x}e^{-t^2/2}\mathbb{d}t\\ 容易得到：\Phi(-x)=1-\Phi(x)$$

---

$(V)$二项分布以正态分布为其极限的分布定理

假设随机变量$Y_n\sim B(n,p)(0<p<1,n\geq1)$，则对于任意实数$x$，有

$$\lim_{n\rightarrow\infty}P\{\dfrac{Y_n-np}{\sqrt{np(1-p)}}\leq x\}=\dfrac{1}{\sqrt{2\pi}}\int_{-\infty}^{x}e^{-t^2/2}\mathbb{d}t=\Phi(x)$$

中心极限定理和大数定律的区别

知乎上的回答：

大数定律是说，$n$只要越来越大，我把这$n$个独立同分布的数加起来去除以$n$得到的这个样本均值（也是一个随机变量）会依概率收敛到真值$\mu$，但是样本均值的分布是怎样的我们不知道。

中心极限定理是说，$n$只要越来越大，这$n$个数的样本均值会趋近于正态分布，并且这个正态分布以$n$为均值，$\sigma^2/n$为方差。