伽马分布

$Gamma$分布

如果一个随机变量$Y$服从$Ga(\alpha ,\beta )(\alpha >0,\beta >0)$,它的密度函数如下：
$$f(y)=\{\begin{array}{r}\frac{{\beta }^{\alpha }}{\Gamma (\alpha )}{y}^{\alpha -1}{e}^{-\beta y},(x\ge 0)\\ 0,(x<0)\end{array}$$

其中，$\Gamma (\alpha )={\int }_0^{+\infty }{t}^{\alpha -1}{e}^{-t}dt$.

1. $Poisson$分布

前面说过，$Beta$分布是二项分布中参数$\theta$的共轭先验分布族；同样的, $Gmma$分布族是$Poisson$分布中参数$\lambda$的共轭先验分布族，下面给出证明：

随机变量$X$服从参数为$\lambda$的$Poisson$分布，即$X$~$P(\lambda )$,那么$X$的分布列为：
$$P(X=k)=\frac{e^{-\lambda }{\lambda }^k}{k!}(\lambda >0).$$

使用贝叶斯方法对$\lambda$的值进行参数估计，将参数$\lambda$视为一个随机变量，随机变量$\lambda$的先验分布服从$Gamma$分布，其密度函数为：
$$\pi (\lambda )=\frac{{\beta }^{\alpha }}{\Gamma (\alpha )}{\lambda }^{\alpha -1}{e}^{-\beta \lambda }=\frac{{\beta }^{\alpha }{\lambda }^{\alpha -1}{e}^{-\beta \lambda }}{{\int }_0^{+\infty }{t}^{\alpha -1}{e}^{-t}dt}(\alpha >0,\beta >0).$$
为了使用样本信息对参数进行估计，从总体$X$中随机抽取$n$个样本，记为$(x_1,x_2,...,x_n)=x$, 那么可以写出似然函数：
$$L(x|\lambda )=\prod _{i=0}^n\frac{e^{-\lambda }{\lambda }^{x_i}}{x_i!}=\frac{e^{-n\lambda }{\lambda }^{n\overline{x}}}{\prod _{i=0}^n(x_i!)}.$$
根据以上两个式子 — 先验密度函数和似然函数，可以根据贝叶斯公式得出参数$\lambda$的后验概率密度：
$$\pi (\lambda |x)=\frac{L(x|\lambda )\pi (\lambda )}{{\int }_{\Lambda }L(x|\lambda )\pi (\lambda )d\lambda }=\frac{\frac{e^{-n\lambda }{\lambda }^{n\overline{x}}}{\prod _{i=0}^n(x_i!)}\frac{{\beta }^{\alpha }{\lambda }^{\alpha -1}{e}^{-\beta \lambda }}{{\int }_0^{+\infty }{t}^{\alpha -1}{e}^{-t}dt}}{{\int }_0^{+\infty }\frac{e^{-n\lambda }{\lambda }^{n\overline{x}}}{\prod _{i=0}^n(x_i!)}\frac{{\beta }^{\alpha }{\lambda }^{\alpha -1}{e}^{-\beta \lambda }}{{\int }_0^{+\infty }{t}^{\alpha -1}{e}^{-t}dt}d\lambda }$$ $$=\frac{{\lambda }^{n\overline{x}+\alpha -1}{e}^{-(n+\beta )\lambda }}{{\int }_0^{+\infty }{\lambda }^{n\overline{x}+\alpha -1}{e}^{-(n+\beta )\lambda }d\lambda }$$
$$(令(n+\beta )\lambda =t)=\frac{{\lambda }^{n\overline{x}+\alpha -1}{e}^{-(n+\beta )\lambda }}{{\int }_0^{+\infty }\frac{1}{n+\beta }(\frac{t}{n+\beta }{)}^{n\overline{x}+\alpha -1}{e}^{-t}dt}$$
$$=(n+\beta {)}^{n\overline{x}+\alpha }\frac{{\lambda }^{n\overline{x}+\alpha -1}{e}^{-(n+\beta )\lambda }}{\Gamma (n\overline{x}+\alpha )},$$
即 $\lambda |x$ ~ $Ga(n\overline{x}+\alpha ,n+\beta )$. 由此可直观地看出用贝叶斯原理可以将样本信息与参数的先验分布信息有效地结合起来，得出参数的后验估计。

2. 指数分布

前面指出，当随机变量$Y$~ $Beta(1,1)$时， $Beta$分布退化为均匀分布，$Y$~ $U(0,1)$.其实，当随机变量 $Y$~ $Ga(1,\beta )$时，$Gamma$分布退化为指数分布，$Y$ ~ $exp(\beta )$.

当一个随机变量$X$ ~ $exp(\lambda )$时，它的密度函数为：

$$f(x)=\{\begin{array}{r}\lambda e^{-\lambda x},(x\ge 0)\\ 0,(x<0)\end{array}.$$
实际上，运用贝叶斯的思想，将参数$\lambda$不看作一个固定的常数，而是一个服从某种分布的随机变量，就会发现，$Gmma$分布族也是指数分布中参数$\lambda$的共轭先验分布族，下面给出证明：

从总体$X$中随机抽取$n$个样本，记为$(x_1,x_2,...,x_n)=x$, 那么可以写出似然函数：
$$L(x|\lambda )=\prod _{i=0}^n\lambda e^{-\lambda x_i}={\lambda }^n{e}^{-\lambda n\overline{x}}.$$

依旧将参数$\lambda$视为一个随机变量，随机变量$\lambda$的先验分布服从$Gamma$分布，其密度函数为：
$$\pi (\lambda )=\frac{{\beta }^{\alpha }}{\Gamma (\alpha )}{\lambda }^{\alpha -1}{e}^{-\beta \lambda }=\frac{{\beta }^{\alpha }{\lambda }^{\alpha -1}{e}^{-\beta \lambda }}{{\int }_0^{+\infty }{t}^{\alpha -1}{e}^{-t}dt}(\lambda \ge 0).$$
根据以上两个式子 — 先验密度函数和似然函数，可以根据贝叶斯公式得出参数$\lambda$的后验概率密度：
$$\pi (\lambda |x)=\frac{L(x|\lambda )\pi (\lambda )}{{\int }_{\Lambda }L(x|\lambda )\pi (\lambda )d\lambda }=\frac{{\lambda }^n{e}^{-\lambda n\overline{x}}\frac{{\beta }^{\alpha }}{\Gamma (\alpha )}{\lambda }^{\alpha -1}{e}^{-\beta \lambda }}{{\int }_0^{+\infty }{\lambda }^n{e}^{-\lambda n\overline{x}}\frac{{\beta }^{\alpha }}{\Gamma (\alpha )}{\lambda }^{\alpha -1}{e}^{-\beta \lambda }d\lambda }$$
$$=\frac{{\lambda }^{n+\alpha -1}{e}^{-(n\overline{x}+\beta )\lambda }}{{\int }_0^{+\infty }{\lambda }^{n+\alpha -1}{e}^{-(n\overline{x}+\beta )\lambda }d\lambda }$$
$$(令(n\overline{x}+\beta )\lambda =t)=(n\overline{x}+\beta {)}^{n+\alpha }\frac{{\lambda }^{n+\alpha -1}{e}^{-(n\overline{x}+\beta )\lambda }}{{\int }_0^{+\infty }{t}^{n+\alpha -1}{e}^{-t}dt}$$
$$=(n\overline{x}+\beta {)}^{n+\alpha }\frac{{\lambda }^{n+\alpha -1}{e}^{-(n\overline{x}+\beta )\lambda }}{\Gamma (n+\alpha )}$$
即 $\lambda |x$ ~ $Ga(n+\alpha ,n\overline{x}+\beta )$. 由此可直观地看出用贝叶斯原理可以将样本信息与参数的先验分布信息有效地结合起来，得出参数的后验估计。