大数定理和中心极限定理

大数定理和中心极限定理

大数定理 large number theorem

弱大数定律(辛钦大数定律):
对于任意的$ϵ$,
lim ⁡ n → ∞ P { ∣ 1 n ∑ i = 1 n X i − μ ∣ < ϵ } = 1 \lim_{n\rarr \infin}P\{|\frac 1 n \sum_{i=1}^{n}X_i-\mu|<\epsilon\}=1 n→∞lim​P{∣n1​i=1∑n​Xi​−μ∣<ϵ}=1
成立. 其中$X_1,X_2,...,X_n$都服从同一分布, 且相互独立, $\mu =E(X_i)$.

推导用到了Chebyshev不等式. 对于一个随机变量$X$, 若它的$E(X)=\mu ,D(X)={\sigma }^2$, 那么对于任意的正数$ϵ$, 都有:
P { ∣ X − μ ∣ ≥ ϵ } ≤ σ 2 ϵ 2 P\{|X-\mu|\ge\epsilon\}\le \frac {\sigma^2} {\epsilon^2} P{∣X−μ∣≥ϵ}≤ϵ2σ2​
推导:
设$X$为连续随机变量, $f(x)$为其概率密度函数, 那么:
P { ∣ X − μ ∣ ≥ ϵ } = ∫ ∣ X − μ ∣ > ϵ f ( x ) d x ≤ ∫ ∣ X − μ ∣ > ϵ ( X − μ ) 2 ϵ 2 f ( x ) d x ≤ ∫ − ∞ + ∞ ( X − μ ) 2 ϵ 2 f ( x ) d x = 1 ϵ 2 ∫ − ∞ + ∞ ( X − μ ) 2 f ( x ) d x = σ 2 ϵ 2 P\{|X-\mu| \ge \epsilon\} = \int_{|X-\mu| > \epsilon} f(x)dx \le \int_{|X-\mu| > \epsilon} \frac {(X-\mu)^2} {\epsilon^2} f(x)dx \le \int_{-\infty}^{+\infty} \frac {(X-\mu)^2} {\epsilon^2} f(x)dx = \frac {1}{\epsilon^2} \int_{-\infty}^{+\infty} (X-\mu)^2 f(x)dx = \frac {\sigma^2}{\epsilon^2} P{∣X−μ∣≥ϵ}=∫∣X−μ∣>ϵ​f(x)dx≤∫∣X−μ∣>ϵ​ϵ2(X−μ)2​f(x)dx≤∫−∞+∞​ϵ2(X−μ)2​f(x)dx=ϵ21​∫−∞+∞​(X−μ)2f(x)dx=ϵ2σ2​
上式也可写成下式:
P { ∣ X − μ ∣ < ϵ } ≥ 1 − σ 2 ϵ 2 P\{|X-\mu|<\epsilon\}\ge 1-\frac {\sigma^2} {\epsilon^2} P{∣X−μ∣<ϵ}≥1−ϵ2σ2​
使用Chebyshev不等式推导弱大数定理, 我们知道:
E { 1 n ∑ i = 1 n X i } = 1 n ∑ i = 1 n E { X i } = 1 n ⋅ n μ = μ E\{\frac{1}{n} \sum_{i=1}^{n}X_i\} = \frac{1}{n} \sum_{i=1}^{n}E\{X_i\}= \frac{1}{n}\cdot n\mu = \mu E{n1​i=1∑n​Xi​}=n1​i=1∑n​E{Xi​}=n1​⋅nμ=μ
和
D { 1 n ∑ i = 1 n X i } = 1 n 2 ∑ i = 1 n D { X i } = 1 n 2 ⋅ n σ 2 = σ 2 n D\{\frac{1}{n} \sum_{i=1}^{n}X_i\} = \frac{1}{n^2} \sum_{i=1}^{n}D\{X_i\} = \frac{1}{n^2}\cdot n\sigma^2 = \frac{\sigma^2}{n} D{n1​i=1∑n​Xi​}=n21​i=1∑n​D{Xi​}=n21​⋅nσ2=nσ2​
根据Chebyshev不等式, 我们有:
1 ≥ p { ∣ 1 n ∑ i = 1 n X i − μ ∣ ≤ ϵ } ≥ 1 − σ 2 n ϵ 2 1 \ge p\{|\frac{1}{n} \sum_{i=1}^{n}X_i-\mu|\le\epsilon\} \ge 1- \frac{\sigma^2}{n\epsilon^2} 1≥p{∣n1​i=1∑n​Xi​−μ∣≤ϵ}≥1−nϵ2σ2​

当n趋于无穷大时, 也就有:
lim ⁡ n → ∞ P { ∣ 1 n ∑ i = 1 n X i − μ ∣ < ϵ } = 1 \lim_{n\rarr \infin}P\{|\frac 1 n \sum_{i=1}^{n}X_i-\mu|<\epsilon\}=1 n→∞lim​P{∣n1​i=1∑n​Xi​−μ∣<ϵ}=1
推论:
伯努利大数定律:
在独立重复n次试验中, $f_A$是事件A发生的次数, 对于任意的$ϵ$,
lim ⁡ n → ∞ P { ∣ f A n − p ∣ < ϵ } = 1 \lim_{n\rarr \infin}P\{|\frac {f_A} n -p|<\epsilon\}=1 n→∞lim​P{∣nfA​​−p∣<ϵ}=1
这是因为 $f_A\sim b(n,p)$, 即二项分布, 因此有:
$$f_A=X_1+X_2+...+X_n$$
而$X_i$服从以$p$为参数的$(0-1)$分布, 因此$E(x_i)=p$, 因此由弱大数定理就可以推出该定律.
这个式子就解释了为什么当实验次数很大时, 频率会稳定收敛于概率.

中心极限定理 central limit theorem

大数定理说明的是大量同分布的随机变量的均值是趋于它们的期望的. 中心极限定理则说明的是它们的均值服从标准正态分布.

独立同分布的中心极限定理:
设随机变量$X_1,X_2,...,X_n$都服从同一分布, 且相互独立, $E(X_i)=\mu ,D(X_i)={\sigma }^2$, 那么当n很大时, 近似有:
$$\frac{\bar{X}-\mu }{\sigma /\sqrt{n}}\sim N(0,1)$$
或者
$$\frac{\sum (X_i)-n\mu }{\sqrt{n}\sigma }\sim N(0,1)\text{\hspace{1em}(1)}$$
或者
$$\bar{X}\sim N(\mu ,\frac{{\sigma }^2}{n})$$

正态分布是二项分布的极限分布:
设 ${\eta }_n$服从参数为$b(n,p)$的二项分布, 则有:
$$\frac{{\eta }_n-np}{\sqrt{np(1-p)}}\sim N(0,1)$$
该式为独立同分布的中心极限定理的特殊情况, 随机变量${\eta }_n$可以分解为n个相互独立的, 服从同一(0-1)分布. 即有:
$${\eta }_n=\sum _{i=1}^n(X_i)$$
$X_i$的分布律为:
$$P(X_i=k)=p^k(1-p{)}^{(1-k)},k=0,1$$
因此有:
$$E(X_i)=p,D(X_i)=p(1-p)$$
带入式(1)即可.