正态分布推导-CSDN博客

本文链接：https://blog.csdn.net/fourierfeng/article/details/51170039

本文并非要涉及数学史，历史上，分布公式是从棣莫弗首先产生，到高斯发扬光大，中间过程曲折，在这里就不详述。本文甚至也不会特意的去用专业术语，目的是从数学的角度上把正态分布给捋一遍，来弥补目前绝大部分与正态分布相关的网络资源在推导方面的不够详尽，让绝大多数的读者能够读懂，在这里不考虑去匹配历史，只考虑数学推导的严密性。
在网上有关正态分布的文章早已有一篇非常优秀的——《正态分布的前世今生》，对于作者在这篇文章中体现出来的专业素养本人是由衷的敬佩。但是它也没有聚焦于正态分布的严密的推导过程。
中心极限定理建立了使独立随机变量之和是渐进正态分布的条件。它在概率论中占有很高的地位，这个地位是由于它悠久的历史，以及它在理论发展过程中起过的和在应用中还在起着富有成果的作用而取得的。本文是基于中心极限定理的，但又不仅仅是，细心的读者可以很容易的感受到这一点。
在概率论中最经典和重要的问题是：
设 $X_{1},X_{2},\cdots ,X_{n}$ 是独立同分布的随机变量，在 $n$ 特别大的情况下如果把它们看成是一个统一的整体，如何确定这个整体的内在的分布规律，其中均值和方差分别为： $Ave_{X_{i}}=\mu,Var[X_{i}]=\sigma ^{2},i=1,2,\cdots ,n$ （这里不限定 $X_{n}$ 的分布规律）。
我们需要简化命题，把上述 $n$ 个变量标准化成一个变量 $Z_{n}$ ，有助于我们的推导:
$W_{i}=\frac{X_{i}-\mu }{\sqrt{n}\sigma }$
$Z_{n}=\sum_{i=1}^{n}W_{i}=\frac{\sum_{i=1}^{n}X_{i}-n\mu}{\sqrt{n}\sigma}$
这里大家很容易的看出涉及到 $n$ 项和的问题，对于求“和的概率分布”是一件非常麻烦的事情，这里假设 $W_{n}$ 的概率密度函数为 $f_{W_{n}}(w)$ ，则 $Z_{n}$ 的概率密度函数为：
$f_{Z_{n}}(z)=f_{W_{1}}(w)\ast f_{W_{2}}(w)\ast\cdots \ast f_{W_{n}}(w)$
其中，“ $\ast$ ”代表卷积运算符。
那第一步要做的当然是把这么复杂的问题給简化，自然就想到了用傅里叶变换。傅里叶变换可以极大的简化和的概率分布，把卷积转化为乘法，也即是把“大学数学的问题”转化为“高中数学问题”。
为简化推导过程，这里假设 $Ave_{X_{i}}=0,Var[X_{i}]=1$ ,所以 $W_{i}=\frac{X_{i} }{\sqrt{n}}$ 。其他情况可以很容易的扩展。设 $f_{X_{i}}(x)$ 为 $X$ 的概率密度函数，对 $W$ 做傅里叶变换得：
$\Phi _{W}(\omega )=\int_{-\infty }^{\infty }e^{\frac{j\omega x}{\sqrt{n}}}f_{X}(x)dx$

接下来，就是要约掉 $f_{X_{i}}(x)$ ，然后简化 $\Phi _{W}(\omega )$ 。所以把上式展成麦克劳林级数。求得的0点附近的各阶导数如下：
$\Phi _{W}^{(0)}(0)=1$
$\Phi _{W}^{(1)}(0)=\int_{-\infty }^{\infty }j\frac{x}{\sqrt{n}}e^{j\omega x/\sqrt{n}}f_{X}(x)dx=0$
$\Phi _{W}^{(2)}(0)=\int_{-\infty }^{\infty }\left ( \frac{jx}{\sqrt{n}} \right )^{2}e^{j\omega x/\sqrt{n}}f_{X}(x)dx=-\frac{1}{n}$

因此可得
$\Phi _{W}(\omega )=1-\frac{1}{2n}\omega ^{2}+\frac{R_{2}^{'}(\omega )}{n\sqrt{n}}$
其中
$R_{2}^{'}(\omega )= -j\omega ^{3}\int_{-\infty }^{\infty }x^{3}e^{j\zeta x/\sqrt{n}}f_{X}(x)dx/6$
因为 $Z_{n}=\sum_{i=1}^{n}W_{i}$ ,由卷积定理我们可以得到
$\Phi _{Z_{n}}(\omega )=\left [ \Phi _{W} (\omega )\right ]^{n}$
等价于
$ln\Phi _{Z_{n}}(\omega )=nln \Phi _{W} (\omega )$
对于任意的 $h$ ，只要满足 $\left | h \right |< 1$ ，利用泰勒展开就有
$ln(1+h)=h-\frac{h^{2}}{2}+\frac{h^{3}}{3}-\cdots$
对于任意固定的 $\omega$ ,我们让 $n$ 足够大使得下式成立
$\left | -\frac{\omega ^{2}}{2n}+\frac{R_{2}^{'}(\omega )}{n\sqrt{n}} \right |< 1$
设 $\Gamma (\omega ,n)=-\frac{\omega ^{2}}{2n}+\frac{R_{2}^{'}(\omega )}{n\sqrt{n}}$
根据上面的结论
$ln\Phi _{Z_{n}}(\omega )=nln\left [ 1+\Gamma (\omega ,n)\right ]=n\left [ \Gamma (\omega ,n) -\frac{1}{2}( \Gamma (\omega ,n))^{2}+\frac{1}{3}( \Gamma (\omega ,n))^{3} +\cdots \right]$
只有 $n\Gamma (\omega ,n)$ 这一项中的 $-\frac{\omega ^{2}}{2}$ 是不带 $n$ 的，其余的项涉及因子 $n^{-1/2},n^{-1},n^{-3/2},\cdots$
因此有 $\underset{n\rightarrow \infty }{lim}\left [ ln\Phi _{Z_{n}}(\omega ) \right ]=-\frac{\omega ^{2}}{2}$
也就是 $\underset{n\rightarrow \infty }{lim}\left [ \Phi _{Z_{n}}(\omega ) \right ]=e^{-\omega ^{2}/2}$
这里设 $Z_{n}$ 的概率密度函数为： $f_{Z_{n}}(z)$ 。我们要假设存在正实数 $M$ ,使得 $f_{Z_{n}}< M$
所以由勒贝格控制收敛定理，积分和求极限可以交换次序
$\int_{-\infty }^{\infty }\underset{n \to \infty }{lim}e^{j\omega z}f_{Z_{n}}(z)dz=\int_{-\infty }^{\infty }e^{j\omega z}\underset{n \to \infty }{lim}f_{Z_{n}}(z)dz=e^{-\omega ^{2}/2}$
设 $f_{Z}(z)=\underset{n \to \infty }{lim}f_{Z_{n}}(z)$ ，对上式做傅里叶逆变换，得 $f_{Z}(z)=\frac{1}{\sqrt{2\pi }}e^{-\frac{z^{2}}{2}}$
这即是我们想要的结果，多么漂亮的数学公式！