漫步数理统计二十四——伽玛、卡方与贝塔分布

本篇博文我们讲介绍伽玛($\Gamma$)，卡方($\chi^2$)与贝塔($\beta$)分布。在高等微积分中已经证明过，对于$\alpha>0$，积分

$$\int_0^\infty y^{\alpha-1}e^{-y}dy$$

存在且积分值为正数，这个积分称为$\alpha$的伽玛函数，写成

$$\Gamma(\alpha)=\int_0^\infty y^{\alpha-1}e^{-y}dy$$

如果$\alpha=1$，显然

$$\Gamma(1)=\int_0^\infty e^{-y}dy=1$$

如果$\alpha>1$，用分部积分法可得

$$\Gamma(\alpha)=(\alpha-1)\int_0^\infty y^{\alpha-2}e^{-y}dy=(\alpha-1)\Gamma(\alpha-1)$$

因此如果$\alpha$是比1大的正整数，那么

$$\Gamma(\alpha)=(\alpha-1)(\alpha-2)\cdots(3)(2)(1)\Gamma(1)=(\alpha-1)!$$

因为$\Gamma(1)=1$，这表明我们可以取$0!=1$。

我们用积分形式定义了$\Gamma(\alpha)$，现在我们引入新变量$y=x/\beta$，其中$\beta>0$，那么

$$\Gamma(\alpha)=\int_0^\infty\left(\frac{x}{\beta}\right)^{\alpha-1}e^{x/\beta}\left(\frac{1}{\beta}\right)dx$$

或者等价的

$$1=\int_0^\infty\frac{1}{\Gamma(\alpha)\beta^\alpha}x^{\alpha-1}e^{-x/\beta}dx$$

因为$\alpha>0,\beta>0,\Gamma(\alpha)>0$，所以

$$f(x)= \begin{cases} \frac{1}{\Gamma(\alpha)\beta^\alpha}x^{\alpha-1}e^{-x/\beta}&0<x<\infty\\ 0&elsewhere \end{cases}$$

是连续型随机变量的pdf，有这种pdf形式的随机变量$X$满足参数为$\alpha,\beta$的伽玛分布，写作$X$满足$\Gamma(\alpha,\beta)$分布。

$\textbf{注1：}$伽玛分布是等待时间的概率模型；例如在寿命测试中，直到死亡的等待时间是用伽玛分布建模的随机变量。为了理解这个，假设泊松假定以及区间长度$w$是时间区间，特别地令随机变量$W$是得到$k$变化量所需要的时间，其中$k$是固定的正整数，那么$W$的cdf为

$$G(w)=P(W\leq w)=1-P(W>w)$$

然而对于$w>0$，事件$W>w$等价于时间区间$w$内少于$k$变化量的概率，即如果随机变量$X$是区间$w$内的变化量，那么

$$P(W>w)=\sum_{x=0}^{k-1}P(X=x)=\sum_{x=0}^{k-1}\frac{(\lambda w)^xe^{-\lambda w}}{x!}$$

读者需要证明

$$\int_{\lambda w}^\infty\frac{z^{k-1}e^{-z}}{(k-1)!}dx=\sum_{x=0}^{k-1}\frac{(\lambda w)^xe^{-\lambda w}}{x!}$$

如果我们接受这个结论，那么对$w>0$我们有

$$G(w)=1-\int_{\lambda w}^\infty\frac{z^{k-1}e^{-z}}{\Gamma(k)}dz=\int_0^{\lambda w}\frac{z^{k-1}e^{-z}}{\Gamma(k)}dz$$

且对于$w\leq 0,G(w)=0$。如果我们改变积分变量，将$z=\lambda y$代入的

$$G(w)=\int_0^w\frac{\lambda^ky^{k-1}e^{-\lambda y}}{\Gamma(k)}dy,w>0$$

且对于$w\leq 0,G(w)=0$。所以$W$的pdf为

$$g(w)=G^\prime(w)= \begin{cases} \frac{\lambda^ky^{k-1}e^{-\lambda y}}{\Gamma(k)}&0<w<\infty\\ 0&elsewhere \end{cases}$$

即$W$满足$\alpha=k,\beta=1/\lambda$的伽玛分布，如果$W$是第一次变化的等待时间，即$k=1$，那么$W$的pdf为

$$g(w)= \begin{cases} \lambda e^{-\lambda w}&0<w<\infty\\ 0&elsewhere \end{cases}$$

$W$满足参数为$\lambda$的指数分布。

接下来计算伽玛分布的mgf。因为

$$\begin{align*} M(t) &=\int_0^\infty e^{tx}\frac{1}{\Gamma(\alpha)\beta^\alpha}x^{\alpha-1}e^{-x/\beta}dx\\ &=\int_0^\infty\frac{1}{\Gamma(\alpha)\beta^\alpha}x^{\alpha-1}e^{-x(1-\beta t)/\beta}dx \end{align*}$$

我们可以令$y=x(1-\beta t)/\beta,t<1/\beta$或者$x=\beta y/(1-\beta t)$ 得到

$$M(t)=\int_0^\infty\frac{\beta/(1-\beta t)}{\Gamma(\alpha)\beta^\alpha}\left(\frac{\beta y}{1-\beta t}\right)^{\alpha-1}e^{-y}dy$$

即

$$\begin{align*} M(t) &=\left(\frac{1}{1-\beta t}\right)^\alpha\int_0^\infty\frac{1}{\Gamma(\alpha)}y^{\alpha-1}e^{-y}dy\\ &=\frac{1}{(1-\beta t)^\alpha},t<\frac{1}{\beta} \end{align*}$$

现在

$$M^\prime(t)=(-\alpha)(1-\beta t)^{-\alpha-1}(-\beta)$$

且

$$M^{''}(t)=(-\alpha)(-\alpha-1)(1-\beta t)^{-\alpha-2}(-\beta)^2$$

因此对于伽玛分布我们有

$$\mu=M^\prime(0)=\alpha\beta$$

且

$$\sigma^2=M^{''}(0)-\mu^2=\alpha(\alpha+1)\beta^2-\alpha^2\beta^2=\alpha\beta^2$$

$\textbf{例1：}$令等待时间$W$满足$\alpha=k,\beta=1/\lambda$的伽玛pdf，那么$E(W)=k/\lambda$。如果$k=1$，那么$E(W)=1/\lambda$；即对于$k=1$变化的期望等待时间等于$\lambda$的倒数。

$\textbf{例2：}$令$X$表示随机变量，使得

$$E(X^m)=\frac{(m+3)!}{3!}3^m,m=1,2,3,\ldots$$

那么$X$的mgf为级数

$$M(t)=1+\frac{4!3}{3!1!}t+\frac{5!3^2}{3!2!}t^2+\frac{6!3^3}{3!3!}t^3+\cdots$$

然而这是$(1-3t)^{-4}$的麦克劳林级数，假设$-1<3t<1$。因此$X$满足$\alpha=4,\beta=3$的伽玛分布。

$\textbf{注2：}$伽玛分布不仅是等待时间的模型，也是许多非负连续型随机变量的模型。例如某些收入的分布可以用伽玛分布来建模，这是因为$\alpha,\beta$提供了很大的灵活性，图$1$给出了几个伽玛概率密度函数。

图1

现在我们考虑伽玛分布的一个特例，即$\alpha=r/2$，其中$r$是一个正数且$\beta=2$。对于一个连续型的随机变量，其pdf为

$$f(x)= \begin{cases} \frac{1}{\Gamma(r/2)2^{r/2}}x^{r/2-1}e^{-x/2}&0<x<\infty\\ 0&elsewhere \end{cases}$$

且mgf为

$$M(t)=(1-2t)^{-r/2},t<\frac{1}{2}$$

那么称该变量满足卡方分布，任意这种形式的$f(x)$称为卡方pdf，卡方分布的均值与方差分别为$\mu=\alpha\beta=(r/2)2=r,\sigma^2=\alpha\beta^2=(r/2)2^2=2r$，我们称参数$r$为卡方分布的自由度。因为卡方分布在统计中扮演着重要角色且经常出现，所以为了简洁$X$是$\chi^2$意味着随机变量$X$满足自由度为$r$的卡方分布。

$\textbf{例3：}$如果$X$满足pdf

$$f(x)= \begin{cases} \frac{1}{4}xe^{-x/2}&0<x<\infty\\ 0&elsewhere \end{cases}$$

那么$X$是$\chi^2(4)$，这里$\mu=4,\sigma^2=8,M(t)=(1-2t)^{-2},t<\frac{1}{2}$。

$\textbf{例4：}$如果$X$有mgf$M(t)=(1-2t)^{-8},t<\frac{1}{2}$，那么$X$是$\chi^2(16)$。

如果随机变量$X$是$\chi^2(r)$，那么$c_1<c_2$时我们有

$$P(c_1<X<c_2)=P(X\leq c_2)-P(X\leq c_1)$$

这是因为$P(X=c_2)=0$。为了计算概率，我们需要像

$$P(X\leq x)=\int_0^x\frac{1}{\Gamma(r/2)2^{r/2}}w^{r/2-1}e^{-w/2}dw$$

这样的值，这些值有表可供查询。

下面的结论之后还会用几次；因此我们用定理的形式给出。

$\textbf{定理1：}$令$X$满足$\chi^2(r)$分布，如果$k>-r/2$，那么$E(X^k)$存在且等于

$$E(X^k)=\frac{2^k\Gamma(\frac{r}{2}+k)}{\Gamma(\frac{r}{2})},if\ k>-r/2$$

$\textbf{证明：}$注意

$$E(X^k)=\int_0^\infty\frac{1}{\Gamma(\frac{r}{2})2^{r/2}}x^{(r/2)+k-1}e^{-x/2}dx$$

变量替换$u=x/2$可得

$$E(X^k)=\int_0^\infty\frac{1}{\Gamma(\frac{r}{2})2^{r/2-1}}2^{(r/2)+k-1}u^{(r/2)+k-1}e^{-u}du$$

这就是要求的揭露。$||$

注意如果$k$是一个非负整数，那么$k>-(r/2)$总是为真，因此$\chi^2$分布的所有矩存在且$k$阶矩如定理所示。

$\textbf{例5：}$令$X$是$\chi^2(10)$，那么通过查表可得，

$$\begin{align*} P(3.25\leq X\leq 20.5) &=P(X\leq 20.5)-P(X\leq 3.5)\\ &=0.975-0.025=0.95 \end{align*}$$

如果$P(a<X)=0.05$，那么$P(X\leq a)=0.95$，通过查表可得$a=18.3$。

$\textbf{例6：}$令$X$满足$\alpha=r/2$的伽玛分布，其中$r$是正整数且$\beta>0$。定义随机变量$Y=2X/\beta$，我们要求$Y$的pdf。现在$Y$的cdf为

$$G(y)=P(Y\leq y)=P\left(X\leq\frac{\beta y}{2}\right)$$

如果$y\leq 0$，那么$G(y)=0$；但是如果$y>0$，那么

$$G(y)=\int_0^{\beta y/2}\frac{1}{\Gamma(r/2)\beta^{r/2}}x^{r/2-1}e^{-x/\beta}dx$$

因此$Y$的pdf为

$$\begin{align*} g(y) &=G^\prime(y)=\frac{\beta/2}{\Gamma(r/2)\beta^{r/2}}(\beta y/2)^{r/2-1}e^{-y/2}\\ &=\frac{1}{\Gamma(r/2)2^{r/2}}y^{r/2-1}e^{-y/2} \end{align*}$$

即$Y$是$\chi^2(r)$。

伽玛分布最重要的一条性质是其加性。

$\textbf{定理2：}$令$X_1,\ldots,X_n$是独立随机变量，假设对于$i=1,\ldots,n$，$X_i$满足$\Gamma(\alpha_i,\beta)$分布，令$Y=\Sigma_{i=1}^nX_i$，那么$Y$满足$\Gamma(\Sigma_{i=1}^n\alpha_i\beta)$分布。

$\textbf{证明：}$利用独立性与伽玛分布的mgf，对于$t<1/\beta$我们有

$$\begin{align*} M_Y(t) &=E[\exp\{t\sum_{i=1}^nX_i\}]=\prod_{i=1}^nE[\exp\{tX_i\}]\\ &=\prod_{i=1}^n(1-\beta t)^{-\alpha_i}=(1-\beta t)^{-\Sigma_{i=1}^n\alpha_i} \end{align*}$$

这就是$\Gamma(\Sigma_{i=1}^n\alpha_i,\beta)$分布的mgf。$||$

之后我们会用到$\chi^2$分布的一个性质，为了方便我们将结论以推论的形式给出，因为$\beta=2,\Sigma\alpha_i=\Sigma r_i/2$。

$\textbf{推论1：}$令$X_1,\ldots,X_n$是独立随机变量，对于$i=1,\ldots,n$，假设$X_i$满足$\chi^2(r_i)$分布，令$Y=\Sigma_{i=1}^nX_i$，那么$Y$满足$\chi^2(\Sigma_{i=1}^nr_i)$分布。

最后在介绍一个重要的分布，即贝塔分布，它是由一对独立的$\Gamma$随机变量推导来的。令$X_1,X_2$是满足$\Gamma$分布的两个独立随机变量，其联合pdf为

$$h(x_1,x_2)=\frac{1}{\Gamma(\alpha)\Gamma(\beta)}x_1^{\alpha-1}x_2^{\beta-1}e^{-x_1-x_2},0<x_1<\infty,0<x_2<\infty$$

其余地方为零，其中$\alpha>0,\beta>0$。令$Y_1=X_1+X_2$且$Y_2=X_1/(X_1+X_2)$，我们将说明$Y_1,Y_2$是独立的。

空间$\mathcal{S}$是$x_1x_2$平面的第一象限，排除坐标轴上的点。那么

$$\begin{align*} &y_1=u_1(x_1,x_2)=x_1+x_2\\ &y_2=u_2(x_1,x_2)=\frac{x_1}{x_1+x_2} \end{align*}$$

可以写成$x_1=y_1y_2,x_2=y_1(1-y_2)$，所以

$$J= \begin{vmatrix} y_2&y_1\\ 1-y_2&-y_1 \end{vmatrix} =-y_1\not\equiv0$$

这个变换时一对一的且将$\mathcal{S}$映射到$y_1y_2$平面上的$\mathcal{T}=\{(y_1,y_2):0<y_1<\infty,0<y_2<1\}$，那么$Y_1,Y_2$的联合pdf为

$$\begin{align*} g(y_1,y_2) &=(y_1)\frac{1}{\Gamma(\alpha)\Gamma(\beta)}(y_1y_2)^{\alpha-1}[y_1(1-y_2)]^{\beta-1}e^{-y_1}\\ &=\begin{cases} \frac{y_2^{\alpha-1}(1-y_2)^{\beta-1}}{\Gamma(\alpha)\Gamma(\beta)}y_1^{\alpha+\beta-1}e^{-y_1}&0<y_1<\infty,0<y_2<1\\ 0&elsewhere \end{cases} \end{align*}$$

所以他们是独立的随机变量。$Y_2$的边缘pdf为

$$\begin{align*} g_2(y_2) &=\frac{y_2^{\alpha-1}(1-y_2)^{\beta-1}}{\Gamma(\alpha)\Gamma(\beta)}\int_0^\infty y_1^{\alpha+\beta-1}e^{-y_1}&0<y_1<\infty dy_1\\ &=\begin{cases} \frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}y_2^{\alpha-1}(1-y_2)^{\beta-1}&0<y_2<1\\ 0&elsewhere \end{cases} \end{align*}$$

这个pdf就是参数为$\alpha,\beta$的贝塔分布。因为$g(y_1,y_2)\equiv g_1(y_1)g_2(y_2)$，所以$Y_1$的pdf一定为

$$g_1(y_1)= \begin{cases} \frac{1}{\Gamma(\alpha+\beta)}y_1^{\alpha+\beta-1}e^{-y_1}&0<y_1<\infty\\ 0&elsewhere \end{cases}$$

这是参数值为$\alpha+\beta,1$的伽玛分布。

很容易得出参数为$\alpha,\beta$的贝塔分布其均值与方差分别为

$$\mu=\frac{\alpha}{\alpha+\beta},\sigma^2=\frac{\alpha\beta}{(\alpha+\beta+1)(\alpha+\beta)^2}$$

最后这个例子中随机变量的分布是由伽玛随机变量变换推导出来的。

$\textbf{例7：}$(狄利克雷函分布)令$X_1,X_2,\ldots,X_{k+1}$是独立随机变量，每个都满足$\beta=1$的伽玛分布，这些变量的联合pdf可能写成

$$h(x_1,x_2,\ldots,x_{k+1})= \begin{cases} \prod_{i=1}^{k+1}\frac{1}{\Gamma(\alpha_i)}x_i^{\alpha_i-1}e^{-x_i}&0<x_i<\infty\\ 0&elsewhere \end{cases}$$

令

$$Y_i=\frac{X_i}{X_1+X_2+\cdots+X_{k+1}},i=1,2,\ldots,k$$

且$Y_{k+1}=X_1+X_2+\cdots+X_{k+1}$表示$k+1$个新变量，相关变换将$\mathcal{A}=\{(x_1,\ldots,x_{k+1}):0<x_i<\infty,i=1,\ldots,k+1\}$ 映射到空间

$$\mathcal{B}=\{(y_1,\ldots,y_k,y_{k+1}):0<y_i,i=1,\ldots,k,y_1+\cdots+y_k<1,0<y_{k+1}<\infty\}$$

单值逆函数是$x_1=y_1y_{k+1},\ldots,x_k=y_ky_{k+1},x_{k+1}=y_{k+1}(1-y_1-\cdots-y_k)$，使得雅克比为

$$J= \begin{vmatrix} y_{k+1}&0&\cdots&0&y_1\\ 0&y_{k+1}&\cdots&0&y_2\\ \vdots&\vdots&&\vdots&\vdots\\ 0&0&\cdots&y_{k+1}&y_{k}\\ -y_{k+1}&-y_{k+1}&\cdots&-y_{k+1}&(1-y_1-\cdots-y_k) \end{vmatrix} =y_{k+1}^k$$

因此$Y_1,\ldots,Y_k,Y_{k+1}$的联合pdf为

$$\frac{y_{k+1}^{\alpha_1+\cdots+\alpha_{k+1}-1}y_1^{\alpha_1-1}\cdots y_k^{\alpha_k-1}(1-y_1-\cdots-y_k)^{\alpha_{k+1}-1}e^{-y_{k+1}}}{\Gamma(\alpha_1)\cdots\Gamma(\alpha_k)\Gamma(\alpha_{k+1})}$$

其余地方为零，这里$(y_1,\ldots,y_k,y_{k+1})\in\mathcal{B}$。$Y_1,\ldots,Y_k$ 的联合pdf为

$$g(y_1,\ldots,y_k)=\frac{\Gamma(\alpha_1+\cdots+\alpha_{k+1})}{\Gamma(\alpha_1)\cdots\Gamma(\alpha_{k+1})}y_1^{\alpha_1-1}\cdots y_k^{\alpha_k-1}(1-y_1-\cdots-y_k)^{\alpha_{k+1}-1}$$

$0<y_i,i=1,\ldots,k,y_1+\cdots+y_k<1$，函数$g$在其他地方等于零。有这种联合pdf形式的随机变量$Y_1,\ldots,Y_k$ 有狄利克雷pdf，而且从$Y_1,\ldots,Y_k,Y_{k+1}$的联合pdf 可以看出$Y_{k+1}$满足参数为$\alpha_1+\cdots+\alpha_k+\alpha_{k+1},\beta=1$的伽玛分布，$Y_{k+1}$与$Y_1,Y_2,\ldots,Y_k$无关。