$5 大数定律和中心极限定理

$5 大数定律和中心极限定理

$5.1大数定律

依概率收敛

设 { X n } \{X_n\} {Xn​}为一随机变量序列，$X$为一随机变量或常数，若对$\forall ϵ>0$，有

lim ⁡ n → ∞ P { ∣ X n − X ∣ &lt; ϵ } = 1 \lim\limits_{n\to\infin} P\{|X_n-X|&lt;\epsilon\} = 1 n→∞lim​P{∣Xn​−X∣<ϵ}=1

则称 { X n } \{X_n\} {Xn​}依概率收敛于$X$,记为$X_n\stackrel{P}{⟶}X$ 或 $X_n-X\stackrel{P}{⟶}0(n\to \infty )$.

---

伯努利（Bernoulli）大数定律

n次独立重复试验中，只要独立重复试验的次数n充分大，结合实际推断原理，知：

可以用事件的频率来代替事件的概率。

lim ⁡ n → ∞ P { ∣ n A n − p ∣ &lt; ϵ } = 1 \lim\limits_{n\to\infin} P\{|\frac{n_A}{n}-p|&lt;\epsilon\} = 1 n→∞lim​P{∣nnA​​−p∣<ϵ}=1 或

lim ⁡ n → ∞ P { ∣ n A n − p ∣ ≥ ϵ } = 0 \lim\limits_{n\to\infin} P\{|\frac{n_A}{n}-p|\geq\epsilon\} = 0 n→∞lim​P{∣nnA​​−p∣≥ϵ}=0 .

---

切比雪夫（Chebyshev）大数定律

$$\begin{gathered} ①设随机变量序列X_1,X_2,...,X_n相互独立; \\ ②具有相同的数学期望和方差. \\ E(X_k)=\mu ,D(X_k)={\sigma }^2,k=1,2,... \\ 则\forall ϵ>0有: \end{gathered}$$

lim ⁡ n → ∞ P { ∣ 1 n ∑ k = 1 n X k − μ ∣ ≥ ϵ } = 0 \lim\limits_{n\to\infin} P\{\bigg|\frac{1}{n}\sum\limits_{k=1}^nX_k-\mu\bigg|\geq\epsilon\} = 0 n→∞lim​P{∣∣∣∣​n1​k=1∑n​Xk​−μ∣∣∣∣​≥ϵ}=0 或

lim ⁡ n → ∞ P { ∣ 1 n ∑ k = 1 n X k − μ ∣ &lt; ϵ } = 1 \lim\limits_{n\to\infin} P\{\bigg|\frac{1}{n}\sum\limits_{k=1}^nX_k-\mu\bigg|&lt;\epsilon\} = 1 n→∞lim​P{∣∣∣∣​n1​k=1∑n​Xk​−μ∣∣∣∣​<ϵ}=1.

---

辛钦大数定律（弱大数定律）

① 设 随 机 变 量 序 列 X 1 , X 2 , . . . , X n 独 立 同 分 布 ; ② 数 学 期 望 E ( X k ) = μ , k = 1 , 2 , . . . 则 ∀ ϵ &gt; 0 有 : lim ⁡ n → ∞ P { ∣ 1 n ∑ k = 1 n X k − μ ∣ &lt; ϵ } = 1 即 X ‾ ⟶ P μ . ①设随机变量序列X_1,X_2,...,X_n独立同分布;\\②数学期望E(X_k) = \mu,k=1,2,...\\则\forall \epsilon &gt; 0有:\\\lim\limits_{n\to\infin} P\{\bigg|\frac{1}{n}\sum\limits_{k=1}^nX_k-\mu\bigg|&lt;\epsilon\} = 1\\即\overline{X}\overset{P}{\longrightarrow}\mu. ①设随机变量序列X1​,X2​,...,Xn​独立同分布;②数学期望E(Xk​)=μ,k=1,2,...则∀ϵ>0有:n→∞lim​P{∣∣∣∣​n1​k=1∑n​Xk​−μ∣∣∣∣​<ϵ}=1即X⟶P​μ.

*注：

• 辛钦大数定律较切比雪夫大数定律弱，不要求随机变量的方差存在。

• 伯努利大数定律是辛钦定理的特殊情况。

---

$5.2中心极限定理

在实际问题中许多随机变量是由相互独立随机因素的综合（或和）影响所形成的.

如果一个随机变量是由大量相互独立的随机因素的综合影响所造成，而每一个别因素对这种综合影响中所起的作用不大. 则这种随机变量一般都服从或近似服从正态分布.

在概率论中，习惯于把和的分布收敛于正态分布这一类定理都叫做中心极限定理.

---

林德贝格-列维中心极限定理(独立同分布的中心极限定理)

$$\begin{gathered} ①设随机变量序列X_1,X_2,...,X_n相互独立; \\ ②具有相同的数学期望和方差. \\ E(X_k)=\mu ,D(X_k)={\sigma }^2,k=1,2,... \\ 则随机变量之和\sum _{k=1}^n{X}_k的标准化变量 \\ {Y}_n=\frac{\sum _{k=1}^n{X}_k-n\mu }{\sqrt{n}\sigma },\forall x,满足 \end{gathered}$$
$$\begin{gathered} \underset{n\to \infty }{\lim }P\{\frac{\sum _{k=1}^n{X}_k-n\mu }{\sqrt{n}\sigma }\le x\}={\int }_{-\infty }^x\frac{1}{\sqrt{2\pi }}{e}^{-\frac{t^2}{2}}dt=\Phi (x) \\ 且 \\ \sum _{k=1}^n{X}_k\stackrel{近似地}{\sim }N(n\mu ,n{\sigma }^2) \\ \frac{\sum _{k=1}^n{X}_k-n\mu }{\sqrt{n}\sigma }\stackrel{近似地}{\sim }N(0,1) \\ 或 \\ \overline{X}=\frac{1}{n}\sum _{k=1}^n{X}_k \\ \overline{X}\stackrel{近似地}{\sim }N(\mu ,\frac{{\sigma }^2}{n}) \\ \frac{\overline{X}-\mu }{\sigma /\sqrt{n}}\stackrel{近似地}{\sim }N(0,1) \end{gathered}$$

---

李雅普诺夫（Lyapunov）定理（独立不同分布的中心极限定理）

$$\begin{gathered} ①设随机变量序列X_1,X_2,...,X_n相互独立; \\ ②具有数学期望和方差如下 \\ E(X_k)={\mu }_k,D(X_k)={\sigma }_k^2,k=1,2,... \\ 记B_n^2=\sum _{k=1}^n{\sigma }_k^2. \\ 若\exists \delta >0,使得当n\to \infty 时， \end{gathered}$$
$\frac{1}{B_n^{2+\delta }}\sum _{k=1}^{n}E\{|X_k-{\mu }_k{|}^{2+\delta }\}\to 0,$
$则随机变量之和\sum _{k=1}^n{X}_k的标准化变量$
$Z_n=\frac{\sum _{k=1}^n{X}_k-E(\sum _{k=1}^n{X}_k)}{\sqrt{D(\sum _{k=1}^n{X}_k)}}=\frac{\sum _{k=1}^n{X}_k-\sum _{k=1}^n{\mu }_k}{B_n},$
$\forall x,满足$
$$\begin{gathered} \underset{n\to \infty }{\lim }P\{\frac{\sum _{k=1}^n{X}_k-\sum _{k=1}^n{\mu }_k}{B_n}\le x\}={\int }_{-\infty }^x\frac{1}{\sqrt{2\pi }}{e}^{-\frac{t^2}{2}}dt=\Phi (x) \\ 且 \\ \sum _{k=1}^n{X}_k\stackrel{近似地}{\sim }N(\sum _{k=1}^n{\mu }_k,B_n^2) \\ {Z}_n\stackrel{近似地}{\sim }N(0,1) \end{gathered}$$

---

棣莫弗—拉普拉斯定理(二项分布的中心极限定理)

$设{\eta }_n(n=1,2,...)服从参数为n,p(0<p<1)的二项分布，则对\forall x,$

$\underset{n\to \infty }{\lim }P\{\frac{{\eta }_n-np}{\sqrt{np(1-p)}}\le x\}={\int }_{-\infty }^x\frac{1}{\sqrt{2\pi }}{e}^{-\frac{t^2}{2}}dt=\Phi (x)$
且
P { a &lt; X &lt; b } ≈ Φ ( b − n p n p q ) − Φ ( a − n p n p q ) , w h e r e   q = 1 − p P\{a&lt;X&lt;b\}\approxΦ(\frac{b-np}{\sqrt{npq}})-Φ(\frac{a-np}{\sqrt{npq}}),where\ q=1-p P{a<X<b}≈Φ(npq ​b−np​)−Φ(npq ​a−np​),where q=1−p
P { X = k } ≈ 1 2 π n p q e − ( k − n p ) 2 2 n p q = 1 n p q φ ( k − n p n p q ) P\{X=k\}\approx\frac{1}{\sqrt{2\pi npq}}e^{-\frac{(k-np)^2}{2npq}}=\frac{1}{\sqrt{npq}}\varphi(\frac{k-np}{\sqrt{npq}}) P{X=k}≈2πnpq ​1​e−2npq(k−np)2​=npq ​1​φ(npq ​k−np​)

*注：

• 正态分布与泊松分布都是二项分布的极限分布，但是

  • 泊松分布要求：$n\to \infty ,p\to 0,np\to \lambda$
  • 棣莫弗—拉普拉斯定理要求：$n\to \infty$

• 由于二项分布是离散分布，而正态分布是连续分布，

  所以用正态分布作为二项分布的近似时，可作修正：

  P { a − 0.5 &lt; X &lt; b + 0.5 } ≈ Φ ( b + 0.5 − n p n p q ) − Φ ( a − 0.5 − n p n p q ) , w h e r e   q = 1 − p P\{a-0.5&lt;X&lt;b+0.5\}\approxΦ(\frac{b+0.5-np}{\sqrt{npq}})-Φ(\frac{a-0.5-np}{\sqrt{npq}}),where\ q=1-p P{a−0.5<X<b+0.5}≈Φ(npq ​b+0.5−np​)−Φ(npq ​a−0.5−np​),where q=1−p

---

$5.3中心极限定理的应用

已知n和y，求概率

已知n和概率，求y

已知y和概率，求n