【概率论与数理统计01】那些年，正态分布、指数分布、伽马分布、卡方分布之间的发生的那些事儿（上）

前记：大多数通信领域的论文都用到了复杂的数学工具，而数学推导中其中很大一部分都涉及到了概率论的知识，痛恨当时自己没有好好学（大哭）。所以今天又来开一个新坑，我一遍学一遍填，希望有朝一日能把这个坑筑成一座楼。
统计分布在概率论中占有重要地位，是一些分析研究的基础，然而每个分布都有自己与众不同的特性，仿佛是一个个性格迥异的人，但是他们都生活在概率论这个村子里，彼此之间有着不可告人小秘密，今天就来看一看那些年，这村子里的四兄弟（正态，伽马，伽马，卡方）之间的故事。

0. 经典中的经典

    开篇放一个大招镇场子，这个概率分布的族谱包括19个离散和57个连续性分布，但是一般人是记不住这么多分布的（不过我听说真的有人把这些分布的特性都记住，向大佬膜拜orz），最好的方法是随用随学，善用搜索，哪里不会补哪里，不过一些重要的分布还是要记住的。贴上原图链接: Univariate Distribution Relationship Chart。
    除了这个图，wiki百科也是一个很好的学习资源，不知道为什么wiki百科上英文版的介绍比中文版的全…。其次Random Website也是一个比较方便和全面学习概率的网站。以上举的这两个网址都是比较数学化的，接下来介绍一个数学科普类读物，是靳志辉先生著的《火光摇曳》，本书前几章介绍了正态分布和伽马函数的来源，很有意思，建议有时间看一看。

• 
  图1 概率分布关系图

•     很明显，今天我们要介绍的四兄弟在他们的族谱中都处在中心位置（画红圈的那几个），毫不夸张的说，这四兄弟及其衍生分布占据了家族的半壁江山。考虑到这个图有些凌乱，我画了一个简化图，看看他们之间的关系到底如何。

• 
  图2 四个分布关系简图

• \newline
  \newline

  1. 威武的大哥——正态分布

      《火光摇曳》里第一句话是这么讲的：

      神说，

      要有正态分布，

      就有了正态分布。

      神看正态分布是好的，

      就让随机误差就服从了正态分布。

      正态分布看似很神秘，但其实在我们的生活中随处可见，比如最近刚出炉的高考成绩，人群的身高等等都服从近似的正态分布。为什么正态分布会如此常见呢？这是因为中心极限定理（Central Limit Theorems，CLT）的缘故，定理指出在适当的条件下，大量相互独立随机变量的均值经过适当标准化后收敛于正态分布。即当一个随机事件取样足够大时，结果近似为正态分布。 但要注意的是使用中心极限定理时，这两个条件需要满足：第一个条件就是取样需要随机，比如在观测成绩分布时，不能总盯着名校的尖子生看，要一视同仁，同等看待。第二个条件就是影响结果的因素是相互独立或者影响比较小的，以身高为例，父母的身高和是否热爱运动都会对身高产生影响，但是这两个因素的关系并不大，因此身高的人群分布曲线可以近似为正态分布。
      我个人认为正态分布的钟形分布曲线是最美观的，不仅形状优雅，还充满着对称之美。

• 
  图3 正态分布概率密度曲线

•     若一个随机变量 $X$ 满足正态分布，即 $X\sim N(\mu ,{\sigma }^2)$, 那么其概率密度函数可写为
  $$f_X(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$

  其中 $E(X)=\mu$ 表示期望，$D(X)={\sigma }^2$ 表示方差。若期望为 0，方差为 1，则定义为标准正态分布，概率密度函数为
  $$\varphi (x)=\frac{1}{\sqrt{2\pi }}{e}^{-x^2/2}$$

  其一阶导数满足 ${\varphi }^{\prime }(x)=-x\varphi (x)$，说明概率密度函数在 $x<0$ 时单调递增，在 $x>0$ 时单调递减。其二阶导数满足 ${\varphi }^{\prime \prime }(x)=(x^2-1)\varphi (x)$，说明概率密度函数在 $-1\le x\le 1$ 时为凹函数，其余区间为凸函数。
      另外正态分布满足独立可加性，若两个独立的随机变量 $X_1$ 和 $X_2$ 分别满足 $X_1\sim N({\mu }_1,{\sigma }_1^2)$ 和 $X_2\sim N({\mu }_2,{\sigma }_2^2)$，那么 $X_1+X_2\sim N({\mu }_1+{\mu }_2,{\sigma }_1^2+{\sigma }_2^2)$。

  \newline
  \newline

  2. 神秘的二哥——伽马分布

  伽马函数

      提到伽马分布不得不提到伽马函数，这个函数看起来很奇怪，是一个幂函数与指数函数相乘的积分形式
  $$\Gamma (k)={\int }_0^{\infty }{x}^{k-1}{e}^{-x}dx,k\in (0,\infty )$$

  利用分部积分法可得
  $$\Gamma (k+1)={\int }_0^{\infty }{x}^k{e}^{-x}dx=(-x^k{e}^{-x}){|}_0^{\infty }+{\int }_0^{\infty }k{x}^{k-1}{e}^{-x}dx=k\Gamma (k)$$

  也就是 $\Gamma (k+1)/\Gamma (k)=k$，很显然 $\Gamma (1)=1$，那么 $\Gamma (k)=(k-1)!$。发现没有，伽马函数竟然能化简成阶乘的形式！自从中世纪以来，有许多数学家都在探索阶乘的秘密，他们试图将阶乘写成有关 $n$ 的函数，例如著名的斯特林公式，但是这只是近似，在 $n$ 较小时仍存在很大误差。因此伽马函数被赋予了特殊的意义——阶乘的另一种形式。然而我们在高中学习的阶乘仅在自然数域有意义，而伽马函数将阶乘的定义域扩充到了全体非负数，举个例子 $\frac{1}{2}!=\frac{\sqrt{\pi }}{2}$

  伽马分布

      介绍完了伽马函数，接下来进入正题伽马分布，把伽马函数等式的左端移到右端，被积的函数就是标准伽马分布的概率密度函数
  $$f(x)=\frac{1}{\Gamma (k)}{x}^{k-1}{e}^{-x}$$

  设随机变量 $X$ 服从标准伽马分布，记为 $X\sim \mathrm{G}\mathrm{a}(\alpha )$，$\alpha$ 即为 $k$，意思是形状参数（shape parameter）。例如当 $\alpha =1$ 时，$X$ 服从标准指数分布；当 $\alpha >1$ 时，$X$ 服从单峰分布。

• 
  图4 伽马分布概率密度曲线

• 对随机变量 $X$ 进行线性变换，令 $Y=\lambda X$，其中 $\lambda$ 为尺度参数（scale parameter），那么可以得到伽马分布的一般性表达式
  $$f(x)=\frac{{\lambda }^{\alpha }}{\Gamma (\alpha )}{x}^{\alpha -1}{e}^{-\lambda x}$$

  即 $Y\sim \mathrm{G}\mathrm{a}(\alpha ,\lambda )$，这里也存在一个特例，$\alpha =n/2$，$\lambda =1/2$ 的伽马分布是自由度为 $n$ 的卡方分布。伽马分布的期望 $E(Y)=\alpha /\lambda$，方差 $D(Y)=\alpha /{\lambda }^2$

  伽马分布的线性性质

      设 $X\sim \mathrm{G}\mathrm{a}({\alpha }_1,\lambda )$，$Y\sim \mathrm{G}\mathrm{a}({\alpha }_2,\lambda )$，且 $X$ 与 $Y$ 独立，则 $X+Y\sim \mathrm{G}\mathrm{a}({\alpha }_1+{\alpha }_2,\lambda )$，该性质可由卷积公式求联合概率密度得到。这个结论表明，两个尺度参数相同的独立伽马变量相加后仍为伽马变量，尺度参数不变，形状参数为相加和。这个结论可推广到多个独立伽马变量相加，但当形状参数趋近于无穷时，根据中心极限定理，此时的伽马分布可近似为正态分布。
      伽马分布具有简单的线性性质，若 $X\sim \mathrm{G}\mathrm{a}({\alpha }_1,\lambda )$，$Z=aX+b$，则 $Z-b\sim \mathrm{G}\mathrm{a}({\alpha }_1,\lambda /\mathrm{a})$，这个可以由反函数的概率密度公式推导得出。这个结论表明伽马分布的线性变换保证形状参数不变。

  正态分布转化为伽马分布

      设一个正态分布 $X\sim N(0,{\sigma }^2)$，则 $Y=X^2$ 服从伽马分布，证明如下：
  当 $y>0$ 时，$Y$ 的分布函数为
  $$F_Y(y)=P(X^2\le y)=P(-\sqrt{y}\le X\le \sqrt{y})=F_X(\sqrt{y})-F_X(-\sqrt{y}).$$

  对上式两边关于 $y$ 求导，得
  $$P_Y(y)=P_X(\sqrt{y})\frac{1}{2\sqrt{y}}+P_X(-\sqrt{y})\frac{1}{2\sqrt{y}}$$

  整理后为
  $$P_Y(y)=\{\begin{array}{rl}\frac{1}{\sqrt{2\pi y}\sigma }{e}^{-\frac{y}{2{\sigma }^2}},& y>0\\ 0,& 其他.\end{array}$$

  即 $Y\sim \mathrm{G}\mathrm{a}(\frac{1}{2},\frac{1}{2{\sigma }^2})$。

  其实这个性质可以由卡方分布简单的得出，因为 $X\sim N(0,{\sigma }^2)$，那么 $\frac{X^2}{{\sigma }^2}\sim {\chi }^2(1)$，服从自由度为 1 的卡方分布。$X^2\sim {\sigma }^2{\chi }^2(1)$成立，因为卡方分布时伽马分布的一种特殊情况因此，$\mathrm{G}\mathrm{a}(\frac{1}{2},\frac{1}{2})$ 与 ${\chi }^2(1)$ 等价。根据伽马分布的线性变换，${\sigma }^2\mathrm{G}\mathrm{a}(\frac{1}{2},\frac{1}{2})$ = $\mathrm{G}\mathrm{a}(\frac{1}{2},\frac{1}{2{\sigma }^2})$，证毕。