【数理统计】03. 数理统计中的三大分布

Chapter 3：数理统计中的三大分布

一、$\Gamma$ 分布

Part 1：$\Gamma$ 函数

在介绍 $\Gamma$ 分布之前，我们先回顾一下在数学分析中学过的 $\Gamma$ 函数。在实数域上 $\Gamma$ 函数定义为
$$\Gamma (x)={\int }_0^{\infty }{t}^{x-1}{e}^{-t}\mathrm{d}t,x>0.$$
通过分部积分的方法，可以推导出 $\Gamma$ 函数具有如下的递归性质：
$$\Gamma (x+1)=x\Gamma (x).$$
容易证明，$\Gamma$ 函数可以作为阶乘在实数集上的延拓，即当 $x$ 的取值为正整数 $n$ 时：
$$\Gamma (n)=(n-1)!.$$
通过计算验证：
$$\Gamma (1)=1,\Gamma \left(\frac{1}{2}\right)=\frac{\pi }{2}.$$
我们还可以讨论 $\Gamma$ 函数的凹凸性：对于 $x>0$ ，$\Gamma$ 函数是严格凸函数。

作为阶乘的推广，$\Gamma$ 函数也有和 Stirling 公式类似的一个结论，即当 $x$ 趋近于无穷时，我们 有
$$\Gamma (x)\sim \sqrt{2\pi }{e}^{-x}{x}^{x-\frac{1}{2}}.$$
所以当 $x$ 足够大时，可以用 Stirling 公式来近似计算 $\Gamma$ 函数值。

Part 2：$\Gamma$ 分布的定义

再介绍一下 $\Gamma$ 分布，由于在以往的概率论学习中接触较少，并且 $\Gamma$ 分布在数理统计中的确是一个相当重要的概率分布，所以在这里我们对 $\Gamma$ 分布展开详细讨论。首先我们给出 $\Gamma$ 分布的密度函数：
$$p(x;\alpha ,\lambda )=\frac{{\lambda }^{\alpha }}{\Gamma (\alpha )}{x}^{\alpha -1}{e}^{-\lambda x},x>0,$$
记为 $\Gamma (\alpha ,\lambda )$ ，其中 $\alpha >0$ 称为形状参数，$\lambda >0$ 称为尺度参数。

当 $\lambda =1$ 时，我们称 $\Gamma (\alpha ,1)$ 为标准 $\Gamma$ 分布。我们可以写出标准 $\Gamma$ 分布的密度函数和分布函数：
$$\begin{array}{rl}p(x;\alpha ,1)& =\frac{1}{\Gamma (\alpha )}{x}^{\alpha -1}{e}^{-x},x>0,\\ & \\ F(x;\alpha ,1)& ={\int }_0^x\frac{1}{\Gamma (\alpha )}{t}^{\alpha -1}{e}^{-t}\mathrm{d}t,x>0.\end{array}$$
下面我们证明一个有趣的 $\Gamma$ 分布的性质：若 $\xi \sim \Gamma (\alpha ,\lambda )$ ，则 $\lambda \xi \sim \Gamma (\alpha ,1)$ 。

首先注意到，对一般的 $\Gamma$ 分布，其分布函数可以写为
$$\begin{array}{rl}F(x;\alpha ,\lambda )& ={\int }_0^x\frac{{\lambda }^{\alpha }}{\Gamma (\alpha )}{y}^{\alpha -1}{e}^{-\lambda y}\mathrm{d}y={\int }_0^x\frac{1}{\Gamma (\alpha )}(\lambda y{)}^{\alpha -1}{e}^{-\lambda y}\mathrm{d}(\lambda y)\stackrel{t=\lambda y}{=}{\int }_0^{\lambda x}\frac{1}{\Gamma (\alpha )}{t}^{\alpha -1}{e}^{-t}\mathrm{d}t\end{array}.$$
所以，计算 $\lambda \xi$ 的分布函数为
$$P(\lambda \xi <x)=P\left(\xi <\frac{x}{\lambda }\right)={\int }_0^{\lambda \cdot \frac{x}{\lambda }}\frac{1}{\Gamma (\alpha )}{t}^{\alpha -1}{e}^{-t}\mathrm{d}t={\int }_0^x\frac{1}{\Gamma (\alpha )}{t}^{\alpha -1}{e}^{-t}\mathrm{d}t.$$
由此可知，$\lambda \xi$ 的分布函数正是标准 $\Gamma$ 分布的分布函数，所以 $\lambda \xi \sim \Gamma (\alpha ,1)$ 。

特别地，

1. 当 $\alpha =1$ 时， $\Gamma (1,\lambda )$ 即为参数为 $\lambda$ 的指数分布 $E(\lambda )$ 。

2. 当 $\alpha =\frac{n}{2},\lambda =\frac{1}{2}$ 时， $\Gamma \left(\frac{n}{2},\frac{1}{2}\right)$ 即为自由度为 $n$ 的 ${\chi }^2$ 分布 ${\chi }^2(n)$ 。

3. 当 $\alpha =n$ 为整数时， $\Gamma (n,\lambda )$ 被称为 Erlang 分布。

Part 3：$\Gamma$ 分布的性质

$\Gamma$ 分布的 $k$ 阶矩：
$$\begin{array}{rl}\mathrm{E}\left(X^k\right)& ={\int }_0^{\infty }\frac{{\lambda }^{\alpha }{x}^{k+\alpha -1}}{\Gamma (\alpha )}{e}^{-\lambda x}\mathrm{d}x\\ & =\frac{\Gamma (k+\alpha )}{{\lambda }^k\Gamma (\alpha )}{\int }_o^{\infty }\frac{{\lambda }^{k+\alpha }{x}^{k+\alpha -1}}{\Gamma (k+\alpha )}{e}^{-\lambda x}\mathrm{d}x\\ & =\frac{\Gamma (k+\alpha )}{{\lambda }^k\Gamma (\alpha )}\\ & =\frac{(\alpha +k-1)(\alpha +k-2)\cdots \alpha \Gamma (\alpha )}{{\lambda }^k\Gamma (\alpha )}\\ & =\frac{(\alpha +k-1)(\alpha +k-2)\cdots \alpha }{{\lambda }^k}.\end{array}$$
$\Gamma$ 分布的期望和方差：
$$\mathrm{E}\left(X\right)=\frac{\alpha }{\lambda },\mathrm{E}\left(X^2\right)=\frac{\alpha (\alpha +}{{\lambda }^2}$$