§ 4.4 中心极限定理
4.4.1 独立随机变量和
大数定律讨论的是在什么条件下,
随机变量序列的算术平均依概率收玫到其均值的算术平均.
现在我们来讨论在什么条件下, 独立随机变量和
Y n = ∑ i = 1 n X i Y_{n}=\sum_{i=1}^{n} X_{i} Yn=i=1∑nXi
的分布函数会收玫于正态分布. 以下我们先给出一个独立随机变量和的例子.
例 4.4.1 误差是人们经常遇到且感兴趣的随机变量,
大量的研究表明,误差的产生是由大量微小的相互独立的随机因素叠加而成的.臂如一位操作者在机床上加工机械轴,
使其直径符合规定要求, 但加工后的机械轴与规定要求总有一定的误差,
这是因为在加工时受到一些随机因素的影响, 它们是
- 在机床方面有机床振动与转速的影响.
- 在刀具方面有装配与磨损的影响.
- 在材料方面有钢材的成分、产地的影响.
- 在操作者方面有注意力集中程度、当天的情绪的影响.
- 在测量方面有量具误差、测量技术的影响.
- 在环境方面有车间的温度、湿度、照明、工作电压的影响.
- 在具体场合还可列出许多其他影响因素.
由于这些因素很多, 每个因素对加工精度的影响都是很微小的,
每个因素的出现都是随机的、是人们无法控制的、时有时无、时大时小、时正时负.这些因素的综合影响最后使每个机械轴的直径产生误差,
若将这个误差记为 Y n Y_{n} Yn, 那么 Y n Y_{n} Yn 是随机变量, 且可以将 Y n Y_{n} Yn
看作很多微小的随机波动 X 1 , X 2 , ⋯ , X n X_{1}, X_{2}, \cdots, X_{n} X1,X2,⋯,Xn 之和, 即
Y n = X 1 + X 2 + ⋯ + X n , Y_{n}=X_{1}+X_{2}+\cdots+X_{n}, Yn=X1+X2+⋯+Xn,
这里 n n n 是很大的, 人们关心的是当 n → ∞ n \rightarrow \infty n→∞ 时, " Y n Y_{n} Yn
的分布是什么?"
当然, 我们可以用卷积公式去计算 Y n Y_{n} Yn 的分布.
但是这样的计算是相当复杂的、不易实现的. 从下面例子可以看出这一点.
例 4.4.2 设 { X n } \left\{X_{n}\right\} {
Xn} 为独立同分布的随机变量序列,
其共同分布为区间 ( 0 , 1 ) (0,1) (0,1) 上的均匀分布. 记
Y n = ∑ i = 1 n X i , p n ( y ) Y_{n}=\sum_{i=1}^{n} X_{i}, p_{n}(y) Yn=∑i=1nXi,pn(y) 为 Y n Y_{n} Yn 的密度函数,
用卷积公式可以求出
p 1 ( y ) = { 1 , 0 < y < 1 , 0 , 其他. p 2 ( y ) = { y , 0 < y < 1 , 2 − y , 1 ⩽ y < 2 , 0 , 其他. p 3 ( y ) = { y 2 / 2 , 0 < y < 1 , − ( y − 3 / 2 ) 2 + 3 / 4 , 1 ⩽ y < 2 , ( 3 − y ) 2 / 2 , 2 ⩽ y < 3 , 0 , 其他. p 4 ( y ) = { y 3 / 6 , 0 < y < 1 , [ y 3 − 4 ( y − 1 ) 3 ] / 6 , 1 ⩽ y < 2 , [ ( 4 − y ) 3 − 4 ( 3 − y ) 3 ] / 6 , 2 ⩽ y < 3 , ( 4 − y ) 3 / 6 , 3 ⩽ y < 4 , 0 , 其他. \begin{array}{l} p_{1}(y)=\left\{\begin{array}{ll} 1, & 0<y<1, \\ 0, & \text { 其他. } \end{array}\right. \\ p_{2}(y)=\left\{\begin{array}{ll} y, & 0<y<1, \\ 2-y, & 1 \leqslant y<2, \\ 0, & \text { 其他. } \end{array}\right. \\ p_{3}(y)=\left\{\begin{array}{ll} y^{2} / 2, & 0<y<1, \\ -(y-3 / 2)^{2}+3 / 4, & 1 \leqslant y<2, \\ (3-y)^{2} / 2, & 2 \leqslant y<3, \\ 0, & \text { 其他. } \end{array}\right. \\ p_{4}(y)=\left\{\begin{array}{ll} y^{3} / 6, & 0<y<1, \\ {\left[y^{3}-4(y-1)^{3}\right] / 6,} & 1 \leqslant y<2, \\ {\left[(4-y)^{3}-4(3-y)^{3}\right] / 6,} & 2 \leqslant y<3, \\ (4-y)^{3} / 6, & 3 \leqslant y<4, \\ 0, & \text { 其他. } \end{array}\right. \end{array} p1(y)={
1,0,0<y<1, 其他. p2(y)=⎩
⎨
⎧y,2−y,0,0<y<1,1⩽y<2, 其他. p3(y)=⎩
⎨
⎧y2/2,−(y−3/2)2+3/4,(3−y)2/2,0,0<y<1,1⩽y<2,2⩽y<3, 其他. p4(y)=⎩
⎨
⎧y3/6,[y3−4(y−1)3]/6,[(4−y)3−4(3−y)3]/6,(4−y)3/6,0,0<y<1,1⩽y<2,2⩽y<3,3⩽y<4, 其他.
将 p 1 ( y ) , p 2 ( y ) , p 3 ( y ) , p 4 ( y ) p_{1}(y), p_{2}(y), p_{3}(y), p_{4}(y) p1(y),p2(y),p3(y),p4(y) 表示在图 4.4.1 中.
从图上我们可以看出: 随着 n n n 的增加, p n ( y ) p_{n}(y) pn(y) 的图形愈来愈光滑,
且愈来愈接近正态曲线.{width=“330px”}
图 4.4.1 均匀分布的卷积
可以设想, 当 n = 100 n=100 n=100 时, p 100 ( x ) p_{100}(x) p100(x) 的非零区域为 ( 0 , 100 ) (0,100) (0,100),
若用卷积公式可以分 100 段求出 p 100 ( x ) p_{100}(x) p100(x) 的表达式,它们分别是 99
次多项式.如此复杂的形式即使求出 (当然没有人去求), 也无法使用.
这就迫使人们去寻求近似分布. 若记 Y n Y_{n} Yn 的分布函数为
F n ( x ) F_{n}(x) Fn(x),在弱收玫的含义下, 求出其极限分布 F ( x ) F(x) F(x), 那么当 n n n 很大时,
就可用 F ( x ) F(x) F(x) 作为 F n ( x ) F_{n}(x) Fn(x)的近似分布.
为了使寻求 Y n Y_{n} Yn 的极限分布有意义,有必要先研究一下问题的提法. 在图
4.4.1 上可以看出: 当 n n n 增大时, p n ( y ) p_{n}(y) pn(y) 的中心右移, 且 p n ( y ) p_{n}(y) pn(y)
的方差增大. 这意味着当 n → ∞ n \rightarrow \infty n→∞ 时,
Y n Y_{n} Yn的分布中心会趋向 ∞ \infty ∞, 其方差也趋向 ∞ \infty ∞, 分布极不稳定.
为了克服这个缺点, 在中心极限定理的研究中均对 Y n Y_{n} Yn 进行标准化
Y n ∗ = Y n − E ( Y n ) Var ( Y n ) , Y_{n}^{*}=\frac{Y_{n}-E\left(Y_{n}\right)}{\sqrt{\operatorname{Var}\left(Y_{n}\right)}}, Yn∗=Var(Yn)Yn−E(Yn),
由于
E ( Y n ∗ ) = 0 , Var ( Y n ∗ ) = 1 E\left(Y_{n}^{*}\right)=0, \operatorname{Var}\left(Y_{n}^{*}\right)=1 E(Yn∗)=0,Var(Yn∗)=1,
这就有可能看出 Y n ∗ Y_{n}^{*} Yn∗ 的极限分布是否为标准正态分布 N ( 0 , 1 ) N(0,1) N(0,1).
中心极限定理就是研究随机变量和的极限分布在什么条件下为正态分布的问题.
4.4.2 独立同分布下的中心极限定理
定理 4.4.1 (林德伯格-莱维 (Lindeberg-Lévy) 中心极限定理) 设
{ X n } \left\{X_{n}\right\} {
Xn} 是独立同分布的随机变量序列, 且
E ( X i ) = μ , Var ( X i ) = σ 2 > 0 E\left(X_{i}\right)=\mu, \operatorname{Var}\left(X_{i}\right)=\sigma^{2}>0 E(Xi)=μ,Var(Xi)=σ2>0
存在, 若记
Y n ∗ = X 1 + X 2 + ⋯ + X n − n μ σ n , Y_{n}^{*}=\frac{X_{1}+X_{2}+\cdots+X_{n}-n \mu}{\sigma \sqrt{n}} \text {, } Yn∗=σnX1+X2+⋯+Xn−nμ,
则对任意实数 y y y, 有
lim n → ∞ P ( Y n ∗ ⩽ y ) = Φ ( y ) = 1 2 π ∫ − ∞ y e − t 2 2 d t . \lim \limits_{n \rightarrow \infty} P\left(Y_{n}^{*} \leqslant y\right)=\Phi(y)=\frac{1}{\sqrt{2 \pi}} \int_{-\infty}^{y} \mathrm{e}^{-\frac{t^{2}}{2}} \mathrm{~d} t . n→∞limP(Yn∗⩽y)=Φ(y)=2π1∫−∞ye−2t2 dt.
证明 为证 (4.4.1) 式, 只需证 { Y n ∗ } \left\{Y_{n}^{*}\right\} {
Yn∗}
的分布函数列弱收玫于标准正态分布. 又由定理 4.2.6, 只需证
{ Y n ∗ } \left\{Y_{n}^{*}\right\} {
Yn∗} 的特征函数列收玫于标准正态分布的特征函数.
为此设 X n − μ X_{n}-\mu Xn−μ 的特征函数为 φ ( t ) \varphi(t) φ(t), 则 Y n ∗ Y_{n}^{*} Yn∗
的特征函数为
φ r n ( t ) = [ φ ( t σ n ) ] n . \varphi_{r_{n}}(t)=\left[\varphi\left(\frac{t}{\sigma \sqrt{n}}\right)\right]^{n} . φrn(t)=[φ(σnt)]n.
又因为
E ( X n − μ ) = 0 , Var ( X n − μ ) = σ 2 E\left(X_{n}-\mu\right)=0, \operatorname{Var}\left(X_{n}-\mu\right)=\sigma^{2} E(Xn−μ)=0,Var(Xn−μ)=σ2,
所以有
φ ′ ( 0 ) = 0 , φ ′ ′ ( 0 ) = − σ 2 . \varphi^{\prime}(0)=0, \quad \varphi^{\prime \prime}(0)=-\sigma^{2} . φ′(0)=0,φ′′(0)=−σ2.
于是特征函数 φ ( t ) \varphi(t) φ(t) 有展开式
φ ( t ) = φ ( 0 ) + φ ′ ( 0 ) t + φ ′ ′ ( 0 ) t 2 2 + o ( t 2 ) = 1 − 1 2 σ 2 t 2 + o ( t 2 ) . \varphi(t)=\varphi(0)+\varphi^{\prime}(0) t+\varphi^{\prime \prime}(0) \frac{t^{2}}{2}+o\left(t^{2}\right)=1-\frac{1}{2} \sigma^{2} t^{2}+o\left(t^{2}\right) . φ(t)=φ(0)+φ′(0)t+φ′′(0)2t2+o(t2)=1−21σ2t2+o(t2).
从而有
lim n → ∞ φ y n ∗ ( t ) = lim n → ∞ [ 1 − t 2 2 n + o ( t 2 n ) ] n = e − t 2 / 2 , \lim \limits_{n \rightarrow \infty} \varphi_{y_{n}^{*}}(t)=\lim \limits_{n \rightarrow \infty}\left[1-\frac{t^{2}}{2 n}+o\left(\frac{t^{2}}{n}\right)\right]^{n}=\mathrm{e}^{-t^{2 / 2}}, n→∞limφyn∗(t)=