第六章 极限定理
6.1 大数定律 Law of large numbers
6.1.1 切比雪夫不等式
-
切比雪夫不等式:对任意 ε > 0 \varepsilon>0 ε>0,
P ( ∣ X − E ( X ) ∣ < ε ) ≥ 1 − D ( X ) ε 2 \color{red}P(|X-E(X)|<\varepsilon)\ge 1-\dfrac{D(X)}{\varepsilon^2} P(∣X−E(X)∣<ε)≥1−ε2D(X)-
证明:设 X X X 有密度函数 f ( x ) f(x) f(x)
P ( ∣ X − E ( X ) ∣ ≥ ε ) = ∫ ∣ x − E ( X ) ∣ ≥ ε f ( x ) d x ( 放 大 被 积 函 数 ) ≤ ∫ ∣ x − E ( X ) ∣ ≥ ε [ X − E ( X ) ] 2 ε 2 f ( x ) d x ( 放 大 积 分 限 ) ≤ 1 ε 2 ∫ − ∞ + ∞ [ X − E ( X ) ] 2 f ( x ) d x = D ( X ) ε 2 \begin{aligned} P(|X-E(X)|\ge \varepsilon)&=\int_{|x-E(X)|\ge \varepsilon}f(x)dx\\ (放大被积函数)&\le\int_{|x-E(X)|\ge \varepsilon}\dfrac{[X-E(X)]^2}{\varepsilon^2}f(x)dx\\ (放大积分限)&\le \dfrac{1}{\varepsilon^2}\int_{-\infty}^{+\infty}[X-E(X)]^2f(x)dx\\ &=\dfrac{D(X)}{\varepsilon^2} \end{aligned} P(∣X−E(X)∣≥ε)(放大被积函数)(放大积分限)=∫∣x−E(X)∣≥εf(x)dx≤∫∣x−E(X)∣≥εε2[X−E(X)]2f(x)dx≤ε21∫−∞+∞[X−E(X)]2f(x)dx=ε2D(X) -
说明:事件 ( ∣ X − E ( X ) ∣ ≥ ε ) (|X-E(X)|\ge \varepsilon) (∣X−E(X)∣≥ε) 的概率与 D ( X ) D(X) D(X) 有关,且 D ( X ) D(X) D(X)(即 X X X 取值集中在期望 E ( X ) E(X) E(X) 周围的程度)越小,这个事件概率应越大。
-
作用:已知 E ( X ) , D ( X ) E(X),D(X) E(X),D(X),而未知 X X X 分布时,可对事件 ( ∣ X − E ( X ) ∣ ≥ ε ) (|X-E(X)|\ge \varepsilon) (∣X−E(X)∣≥ε) 发生的概率进行估计。
-
缺点:误差较大
-
-
随机变量序列的收敛性:
-
依概率收敛:对 ∀ ε > 0 \forall \varepsilon>0 ∀ε>0,有 lim n → ∞ P ( ∣ X n − a ∣ < ε ) = 1 \color{red}\lim\limits_{n\rightarrow \infty}P(|X_n-a|<\varepsilon)=1 n→∞limP(∣Xn−a∣<ε)=1,则称随机变量序列 X 1 , X 2 , . . . , X n X_1,X_2,...,X_n X1,X2,...,Xn 依概率收敛于常数 a a a,记为 X n → P a \color{red}X_n\xrightarrow{P} a XnPa
-
区别:
- 数列收敛 x n → a x_n\rightarrow a xn→a: ∀ ε > 0 , ∃ N \forall \varepsilon>0,\exist N ∀ε>0,∃N,当 n > N n>N n>N 时,有 ∣ x n − a ∣ < ε |x_n-a|<\varepsilon ∣xn−a∣<ε
- 随机变量序列收敛 X n → P a X_n\xrightarrow{P} a XnPa: ∀ ε > 0 , ∃ N \forall \varepsilon>0,\exist N ∀ε>0,∃N,当 n > N n>N n>N 时,有 { ∣ X n − a ∣ < ε } = { X n ∈ δ ( a , ε ) } \{|X_n-a|<\varepsilon\}=\{X_n\in \delta(a,\varepsilon)\} {∣Xn−a∣<ε}={Xn∈δ(a,ε)}.
-
例题 \color{White}\colorbox{Fuchsia}{例题} 例题: ( X , Y ) ∼ N ( 2 , − 1 ; 1 , 4 ; − 0.5 ) , P { ∣ X + Y ∣ ≥ 6 } ≤ _ _ ? _ _ (X,Y)\sim N(2,-1;1,4;-0.5),P\{|X+Y|\ge 6\}\le \;\_\_?\_\_ (X,Y)∼N(2,−1;1,4;−0.5),P{∣X+Y∣≥6}≤__?__
解:
E ( X + Y ) = 0 , D ( X + Y ) = 1 + 4 + 2 × ( − 0.5 ) × 2 × 1 = 3 P { ∣ X + Y ∣ ≥ 6 } ≤ D ( X ) ε 2 = 3 36 = 1 12 E(X+Y)=0,D(X+Y)=1+4+2\times (-0.5)\times 2\times 1=3\\ P\{|X+Y|\ge 6\}\le\dfrac{D(X)}{\varepsilon^2}=\dfrac{3}{36}=\dfrac{1}{12} E(X+Y)=0,D(X+Y)=1+4+2×(−0.5)×2×1=3P{∣X+Y∣≥6}≤ε2D(X)=363=121
-
-
切比雪夫不等式的应用:随机变量序列 { X n } , n = 1 , 2 , . . . \{X_n\},n=1,2,... {Xn},n=1,2,...,若 E ( X n ) = μ n , D ( X n ) = σ n 2 E(X_n)=\mu_n,D(X_n)=\sigma_n^2 E(Xn)=μn,D(Xn)=σn2 存在,且满足 n → ∞ n\rightarrow \infty n→∞,有 σ 2 → 0 \sigma^2\rightarrow 0 σ2→0,则 X n − μ n → P 0 \color{red}X_n-\mu_n\xrightarrow{P}0 Xn−μnP0
- 证明: 1 ≥ P ( ∣ X n − μ n ∣ < ε ) ≥ 1 − σ n 2 ε 2 1\ge P(|X_n-\mu_n|<\varepsilon)\ge 1-\dfrac{\sigma_n^2}{\varepsilon^2} 1≥P(∣Xn−μn∣<ε)≥1−ε2σn2 两边取极限即可
6.1.2 大数定律
大数定律研究对象: ξ n = 1 n ∑ i = 1 n X i \xi_n=\dfrac{1}{n}\sum\limits_{i=1}^nX_i ξn=n1i=1∑nXi
大数定律常用工具:切比雪夫不等式
大数定律本质: 1 n ∑ i = 1 n X i → P E ( 1 n ∑ i = 1 n X i ) \dfrac{1}{n}\sum\limits_{i=1}^nX_i\xrightarrow{P} E(\dfrac{1}{n}\sum\limits_{i=1}^nX_i) n1i=1∑nXiPE(n1i=1∑nXi)
大数定律成立的约束条件:一二阶矩存在;方差趋于零
意义:平均使得稳定;规律的产生是大量独立或弱相关因素累计的结果。
-
切比雪夫大数律:对独立随机变量 { X n } \{X_n\} {Xn} 若满足
-
E ( X n ) , D ( X n ) E(X_n),D(X_n) E(Xn),D(Xn) 都存在
-
方差有限,即存在常数 C C C,使得 D ( X k ) ≤ C D(X_k)\le C D(Xk)≤C,则有 1 n ∑ k = 1 n X k − 1 n ∑ k = 1 n E ( X k ) → P 0 \color{red}\dfrac{1}{n}\sum\limits_{k=1}^nX_k-\dfrac{1}{n}\sum\limits_{k=1}^nE(X_k)\xrightarrow{P}0 n1k=1∑nXk−n1k=1∑nE(Xk)P0
- 证明:令
Y
n
=
1
n
∑
k
=
1
n
X
k
Y_n=\dfrac{1}{n}\sum\limits_{k=1}^nX_k
Yn=n1k=1∑nXk,则
E ( Y n ) = E ( 1 n ∑ k = 1 n X k ) = 1 n E ( ∑ k = 1 n X k ) = 1 n ∑ k = 1 n E ( X k ) , D ( Y n ) = D ( 1 n ∑ k = 1 n X k ) = 1 n 2 D ( ∑ k = 1 n X k ) = 1 n 2 [ ∑ k = 1 n D ( X k ) + 2 ∑ 1 ≤ i < j ≤ n r i j D ( X i ) D ( X j ) ] = i . i . d . D ( X n ) n 故 当 n ⟶ ∞ 时 , D ( y n ) ⟶ 0 , 有 Y n − E ( Y n ) → P 0. 即 1 n ∑ k = 1 n X k − 1 n ∑ k = 1 n E ( X k ) → P 0 \begin{aligned} E(Y_n)&=E\left(\dfrac{1}{n}\sum\limits_{k=1}^nX_k\right)=\dfrac{1}{n}E\left(\sum\limits_{k=1}^nX_k\right)=\dfrac{1}{n}\sum\limits_{k=1}^nE\left(X_k\right),\\ D(Y_n)&=D\left(\dfrac{1}{n}\sum\limits_{k=1}^nX_k\right)=\dfrac{1}{n^2}D\left(\sum\limits_{k=1}^nX_k\right)\\ &=\dfrac{1}{n^2}\left[\sum\limits_{k=1}^nD(X_k)+2\sum\limits_{1\le i<j\le n}r_{ij}\sqrt{D(X_i)}\sqrt{D(X_j)}\right]\xlongequal{i.i.d.}\dfrac{D(X_n)}{n}\\ 故&当n\longrightarrow \infty时,D(y_n)\longrightarrow 0,有Y_n-E(Y_n)\xrightarrow{P}0.\\ 即&\dfrac{1}{n}\sum\limits_{k=1}^nX_k-\dfrac{1}{n}\sum\limits_{k=1}^nE(X_k)\xrightarrow{P}0 \end{aligned}\\ E(Yn)D(Yn)故即=E(n1k=1∑nXk)=n1E(k=1∑nXk)=n1k=1∑nE(Xk),=D(n1k=1∑nXk)=n21D(k=1∑nXk)=n21[k=1∑nD(Xk)+21≤i<j≤n∑rijD(Xi)D(Xj)]i.i.d.nD(Xn)当n⟶∞时,D(yn)⟶0,有Yn−E(Yn)P0.n1k=1∑nXk−n1k=1∑nE(Xk)P0
-
-
独立同分布大数律:记 X ‾ = 1 n ∑ k = 1 n X k \overline{X}=\dfrac{1}{n}\sum\limits_{k=1}^nX_k X=n1k=1∑nXk,则 X ‾ → P E ( X k ) \color{red}\overline{X}\xrightarrow{P}E(X_k) XPE(Xk),其中 ( X k ) = E ( X ‾ ) (X_k)=E(\overline{X}) (Xk)=E(X)。
- 说明: n n n 充分大时, X ‾ \overline{X} X 在概率意义下取值充分接近 X k X_k Xk 的共同期望。故实际问题可用 X ‾ \overline{X} X 估计 E ( X k ) E(X_k) E(Xk),即多次测量求平均作为期望值。
-
伯努利大数律: n n n 次伯努利实验中, f n ( A ) → P p \color{red}f_n(A)\xrightarrow{P}p fn(A)Pp,其中 f n ( A ) = n A n f_n(A)=\dfrac{n_A}{n} fn(A)=nnA 为事件 A A A 发生的频率, p = P ( A ) p=P(A) p=P(A) 为 A A A 发生的概率。
- 说明:频率 f n ( A ) f_n(A) fn(A) 的稳定值 P ( A ) P(A) P(A) 实际上是频率依概率收敛于 P ( A ) P(A) P(A)。故 n n n 较大时,可用事件频率估计事件发生概率。
6.2 中心极限定理 Central Limit Theorems
中心极限定理研究对象:独立的随机变量之和
中心极限定理本质:任意独立同分布的随机变量之和的极限分布是正态分布
-
林德伯格-列维中心极限定理(独立同分布):独立同分布的随机变量序列 { X k } \{X_k\} {Xk} 有 E ( X k ) = μ , D ( X k ) = σ 2 > 0 , k = 1 , 2 , . . . E(X_k)=\mu,D(X_k)=\sigma^2>0,k=1,2,... E(Xk)=μ,D(Xk)=σ2>0,k=1,2,...,记 Y n = ∑ k = 1 n X k − n μ n σ = 1 n ∑ k = 1 n X k − μ σ n Y_n=\dfrac{\sum\limits_{k=1}^nX_k-n\mu}{\sqrt{n}\sigma}=\dfrac{\dfrac{1}{n}\sum\limits_{k=1}^nX_k-\mu}{\dfrac{\sigma}{\sqrt{n}}} Yn=nσk=1∑nXk−nμ=nσn1k=1∑nXk−μ,则对任意 x ∈ R x\in R x∈R,有
lim n → ∞ F n ( x ) = lim n → ∞ P ( Y n ≤ x ) = Φ ( x ) \color{red}\lim\limits_{n\rightarrow \infty}F_n(x)=\lim\limits_{n\rightarrow \infty}P(Y_n\le x)=\Phi(x) n→∞limFn(x)=n→∞limP(Yn≤x)=Φ(x)-
说明:独立同分布的随机变量之和 S n = ∑ k = 1 n X k S_n=\sum\limits_{k=1}^nX_k Sn=k=1∑nXk 标准化后 Y n = S n − E ( S n ) D ( S n ) Y_n=\dfrac{S_n-E(S_n)}{\sqrt{D(S_n)}} Yn=D(Sn)Sn−E(Sn) 的分布函数的极限函数是标准正态分布。
-
应用:当 n ⟶ ∞ n\longrightarrow \infty n⟶∞ 时,
∑ k = 1 n X k ∼ N ( n μ , n σ 2 ) 1 n ∑ k = 1 n X k ∼ N ( μ , σ 2 n ) ∑ k = 1 n g ( X i ) ∼ N ( ( g ( X ) ) , n D ( g ( X ) ) ) P ( a < ∑ k = 1 n X k ≤ b ) ≈ Φ ( b − n μ n σ ) − Φ ( a − n μ n σ ) \sum\limits_{k=1}^nX_k\sim N(n\mu,n\sigma^2)\\ \dfrac{1}{n}\sum\limits_{k=1}^nX_k\sim N(\mu,\dfrac{\sigma^2}{n})\\ \sum\limits_{k=1}^ng(X_i)\sim N({\color{red}(g(X)),nD(g(X))})\\ P(a<\sum\limits_{k=1}^nX_k\le b)\approx\Phi(\dfrac{b-n\mu}{\sqrt{n}\sigma})-\Phi(\dfrac{a-n\mu}{\sqrt{n}\sigma}) k=1∑nXk∼N(nμ,nσ2)n1k=1∑nXk∼N(μ,nσ2)k=1∑ng(Xi)∼N((g(X)),nD(g(X)))P(a<k=1∑nXk≤b)≈Φ(nσb−nμ)−Φ(nσa−nμ)
-
-
棣莫弗-拉普拉斯中心极限定理(二项分布):随机变量序列 { X k } ∼ B ( n , p ) , q = 1 − p \{X_k\}\sim B(n,p),q=1-p {Xk}∼B(n,p),q=1−p,则对任意 x ∈ R x\in R x∈R,有
lim n → ∞ P ( X n − n p n p q ≤ x ) = Φ ( x ) \color{red}\lim\limits_{n\rightarrow \infty}P(\dfrac{X_n-np}{\sqrt{npq}} \le x)=\Phi(x) n→∞limP(npqXn−np≤x)=Φ(x)-
说明:二项分布的渐近正态性
-
推论: X ∼ B ( n , p ) X\sim B(n,p) X∼B(n,p),当 n ⟶ ∞ n\longrightarrow\infty n⟶∞ 时,有 P ( a < X ≤ b ) ≈ Φ ( b − n p n p q ) − Φ ( a − n p n p q ) \color{red}P(a<X\le b)\approx\Phi(\dfrac{b-np}{\sqrt{npq}})-\Phi(\dfrac{a-np}{\sqrt{npq}}) P(a<X≤b)≈Φ(npqb−np)−Φ(npqa−np)
-
例题 \color{White}\colorbox{Fuchsia}{例题} 例题:某厂生产的产品中,一等品率为 80 % 80\% 80%,用中心极限定理完成
(1)若一盒产品装有 100 100 100 个,求一盒中至少有 85 85 85 个一等品的概率
解:
X ∼ B ( 100 , 0.8 ) , 则 n p = 80 , n p q = 16 , 近 似 地 X ∼ N ( 80 , 16 ) 设 X 为 一 等 品 数 量 ∴ P ( X ≥ 85 ) ≈ 1 − Φ ( 85 − 80 16 ) = 1 − Φ ( 1.25 ) = 1 − 0.8944 = 0.1056 X\sim B(100,0.8),则np=80,npq=16,近似地X\sim N(80,16)\\ 设 X为一等品数量\\ \therefore P(X\ge 85)\approx 1-\Phi(\dfrac{85-80}{\sqrt{16}})=1-\Phi(1.25)=1-0.8944=0.1056 X∼B(100,0.8),则np=80,npq=16,近似地X∼N(80,16)设X为一等品数量∴P(X≥85)≈1−Φ(1685−80)=1−Φ(1.25)=1−0.8944=0.1056
(2)设一盒装有 n n n 个产品,若要求至少有 70 % 70\% 70% 的产品为一等品概率不低于 0.9772 0.9772 0.9772,则 n n n 至少应该取多少 解:
设 X 为 一 等 品 数 量 , ∴ X ∼ N ( 0.8 n , 0.16 n ) ∴ P ( X ≥ 0.7 n ) ≈ 1 − Φ ( 0.7 n − 0.8 n 0.4 n ) ≥ 0.9772 1 − Φ ( − n 4 ) ≥ Φ ( 2 ) − 2 ≥ − n 4 ∴ n ≥ 64 设 X为一等品数量,\therefore X\sim N(0.8n,0.16n) \\ \begin{aligned} \therefore P(X\ge 0.7n)\approx 1-\Phi(\dfrac{0.7n-0.8n}{0.4\sqrt{n}})&\ge 0.9772\\ 1-\Phi(-\dfrac{\sqrt{n}}{4})&\ge \Phi(2)\\ -2&\ge -\dfrac{\sqrt{n}}{4}\\ \therefore n&\ge 64 \end{aligned} 设X为一等品数量,∴X∼N(0.8n,0.16n)∴P(X≥0.7n)≈1−Φ(0.4n0.7n−0.8n)1−Φ(−4n)−2∴n≥0.9772≥Φ(2)≥−4n≥64
-
-
频率估计概率问题:计算 P ( ∣ μ n n − p ∣ < ε ) = β P(|\dfrac{\mu_n}{n}-p|<\varepsilon)=\beta P(∣nμn−p∣<ε)=β,其中样本量 n n n,期望概率 p p p,误差 ε \varepsilon ε,事件发生概率 β \beta β,知三求一。
∵ μ n n ∼ N ( p , p q n ) ∴ μ n n − p p q n ∼ N ( 0 , 1 ) ⟹ β = P ( ∣ μ n n − p ∣ < ε ) = F ( p + ε ) − F ( p − ε ) = Φ ( p + ε − p p q n ) − Φ ( p − ε − p p q n ) = 2 Φ ( ε n p q ) − 1 \because \dfrac{\mu_n}{n}\sim N(p,\dfrac{pq}{n})\therefore \dfrac{\dfrac{\mu_n}{n}-p}{\sqrt{\dfrac{pq}{n}}}\sim N(0,1)\\ \Longrightarrow{\color{red}\beta=P(|\dfrac{\mu_n}{n}-p|<\varepsilon)}=F(p+\varepsilon)-F(p-\varepsilon)=\Phi(\dfrac{p+\varepsilon-p}{\sqrt{\dfrac{pq}{n}}})-\Phi(\dfrac{p-\varepsilon-p}{\sqrt{\dfrac{pq}{n}}}) =\color{red}2\Phi(\varepsilon\sqrt{\dfrac{n}{pq}})-1 ∵nμn∼N(p,npq)∴npqnμn−p∼N(0,1)⟹β=P(∣nμn−p∣<ε)=F(p+ε)−F(p−ε)=Φ(npqp+ε−p)−Φ(npqp−ε−p)=2Φ(εpqn)−1