中心极限定理

中心极限定理

独立同分布随机变量$X_i$，存在有限的均值$\mu$和方差${\sigma }^2$，则有下面定理成立：
F n ( x ) = lim ⁡ n → ∞ P { ∑ i = 1 n X i − n μ n σ ≤ x } = 1 2 π ∫ − ∞ x e − t 2 2 d t F_n(x)=\lim_{n\rightarrow\infin}P\{\frac{\sum_{i=1}^nX_i-n\mu}{\sqrt{n}\sigma}\le x\}=\frac{1}{\sqrt{2\pi}}\int_{-\infin}^{x}e^{-\frac{t^2}{2}}dt Fn​(x)=n→∞lim​P{n ​σ∑i=1n​Xi​−nμ​≤x}=2π ​1​∫−∞x​e−2t2​dt
这个定理说明，将独立同分布随机变量$n$次采样的和作为一个随机变量，关于这个随机变量的概率密度，当$n$越大，越趋近于均值为$n\mu$，方差为$n{\sigma }^2$的正态分布。另一种说法是，将独立同分布随机变量$n$次采样的均值作为一个随机变量，概率密度趋近于均值为$\mu$，方差为$\frac{{\sigma }^2}{n}$的正态分布。这也说明，$n$越大，估算结果置信度越高。关于这个定理的证明，首先定义特征函数：
$$M_x(t)=E(e^{xt})={\int }_{-\infty }^{\infty }f(x)e^{xt}dx$$
特征函数有几个性质：
$$M_x(0)={\int }_{-\infty }^{\infty }f(x)dx=1$$
$$M_x^{{}^{\prime }}(0)={\int }_{-\infty }^{\infty }xf(x)dx=E(x)$$
$$M_x^{{}^{\prime \prime }}(0)={\int }_{-\infty }^{\infty }{x}^{2}f(x)dx=E(x^2)$$
上面的数字，求导是求关于$t$的导数。如果两个概率密度的特征函数在各个$t$处相等，我们可以认为这两个概率密度是相等的。首先我们求标准正态分布$Z$的特征函数：
$$M_Z(t)={\int }_{-\infty }^{\infty }\frac{1}{\sqrt{2\pi }}{e}^{-\frac{x^2}{2}}{e}^{tx}dx=e^{\frac{t^2}{2}}{\int }_{-\infty }^{\infty }\frac{1}{\sqrt{2\pi }}{e}^{\frac{-(x-t{)}^2}{2}}dx=e^{\frac{t^2}{2}}$$
上面的式子积分形式变为了求期望等于$t$方差等于1的正态分布的积分，所以推导出结果。接着我们求随机变量$Y$的特征函数：
$$Y=\frac{{\sum }_{i=1}^n{X}_i-n\mu }{\sqrt{n}\sigma }=\sum _{i=1}^n\frac{X_i-\mu }{\sqrt{n}\sigma }=\sum _{i=1}^n{Q}_i$$
$$M_Y(t)=[M_{Q_i}(t){]}^n$$
$$M_{Q_i}(t)=e^{-\frac{\mu t}{\sqrt{n}\sigma }}{M}_{X_i}(\frac{t}{\sqrt{n}\sigma })$$
$$\ln M_Y(t)=n\ln M_{Q_i}(t)=n(-\frac{\mu t}{\sqrt{n}\sigma }+\ln M_{X_i}(\frac{t}{\sqrt{n}\sigma }))=-\frac{\sqrt{n}\mu t}{\sigma }+n\ln M_{X_i}(\frac{t}{\sqrt{n}\sigma })$$
设$p=\frac{t}{\sqrt{n}\sigma }$代入式子得到：
$$\ln M_Y(t)=-\frac{\mu t^2}{p{\sigma }^2}+\frac{t^2}{p^2{\sigma }^2}{M}_{X_i}(p)=\frac{t^2}{{\sigma }^2}(-\frac{\mu }{p}+\frac{\ln M_{X_i}(p)}{p^2})=\frac{t^2}{{\sigma }^2}\frac{-\mu p+\ln M_{X_i}(p)}{p^2}$$
当$n\to \infty$时，$p\to 0$，所以现在是要求：
$$\underset{n\to \infty }{\lim }\ln M_Y(t)$$
关键是求：
$$\underset{p\to 0}{\lim }\frac{-\mu p+\ln M_{X_i}(p)}{p^2}$$
已知分子分母在极限处都得到0，根据洛必达法则对分子分母对$p$求导，得到：
$$\frac{-\mu +\frac{M_{X_i}^{{}^{\prime }}(p)}{M_{X_i}(p)}}{2p}$$
$$\underset{p\to 0}{\lim }{M}_{X_i}^{{}^{\prime }}(p)=\mu$$
$$\underset{p\to 0}{\lim }{M}_{X_i}=1$$
可以发现依然是分子分母在极限处等于0，所以继续洛必达得到：
$$\frac{M_{X_i}^{{}^{\prime \prime }}(p)M_{X_i}(p)-M_{X_i}^{{}^{\prime }}(p{)}^2}{2M_{X_i}(p{)}^2}=\frac{E(X_i^2)-E(X_i{)}^2}{2}=\frac{{\sigma }^2}{2}$$
将这个结果回代，最后得到：
$$\underset{n\to \infty }{\lim }\ln M_Y(t)=\frac{t^2}{2}$$
所以有：
$$M_Y(t)=e^{\frac{t^2}{2}}$$
这说明$Y$和$Z$的概率密度是相等的，所以中心极限定理得证。