漫步数理统计二十八——混合分布

假设有$k$个分布，它们的pdf分别为$f_1(x),f_2(x),\ldots,f_k(x)$，支撑为$\mathcal{S_1,S_2,\ldots,S_k}$，均值为$\mu_1,\mu_2,\ldots,\mu_k$，方差为$\sigma_1^2,\sigma_2^2,\ldots,\sigma_k^2$，正的混合概率$p_1,p_2,\ldots,p_k$且满足$p_1+p_2+\cdots+p_k=1$，令$\mathcal{S}=\cup_{i=1}^k\mathcal{S}_i$且考虑函数

$$f(x)=p_1f_1(x)+p_2f_2(x)+\cdots+p_kf_k(x)=\sum_{i=1}^kp_if_i(x),\quad x\in\mathcal{S}$$

注意$f(x)$是非负的且在$(-\infty,\infty)$上积分为1；因此$f(x)$是某连续型随机变量$X$的pdf，$X$的均值为

$$E(X)=\sum_{i=1}^kp_i\int_{-\infty}^{\infty}xf_i(x)dx=\sum_{i=1}^kp_i\mu_i=\bar{\mu}$$

即$\mu_1,\mu_2,\ldots,\mu_k$的加权平均，方差等于

$$\begin{align*} var(X) &=\sum_{i=1}^kp_i\int_{-\infty}^{\infty}(x-\bar{\mu})^2f_i(x)dx\\ &=\sum_{i=1}^kp_i\int_{-\infty}^{\infty}[(x-\mu_i)+(\mu_i-\bar{\mu})]^2f_i(x)dx\\ &=\sum_{i=1}^kp_i\int_{-\infty}^{\infty}(x-\mu_i)^2f_i(x)dx+\sum_{i=1}^kp_i(\mu_i-\bar{\mu})^2\int_{-\infty}^{\infty}f_i(x)dx \end{align*}$$

交叉相的积分为零。即

$$var(X)=\sum_{i=1}^kp_i\sigma_i^2+\sum_{i=1}^kp_i(\mu_i-\bar{\mu})^2$$

注意方差不单单是$k$个方差的加权平均，还包括一个正值，涉及到均值的加权方差。

$\textbf{注1：}$注意区分$k$个分布的混合与$k$个随机变量的混合$\sum a_iX_i$ 。

接下来介绍一些分布。首先是参数$\alpha>0,\beta>0$的对数伽玛pdf，形式为

$$f_1(x)= \begin{cases} \frac{1}{\Gamma(\alpha)\beta^{\alpha}}x^{-(1+\beta)/\beta}(\log x)^{\alpha-1}&x>1\\ 0&elsewhere \end{cases}$$

用$\log\Gamma(\alpha,\beta)$表示该分布。

$\textbf{例1：}$精算师发现对数伽玛与伽玛分布很适合为索赔分布建模。假设$X_1$满足$\log\Gamma(\alpha_1,\beta_1)$，$X_2$满足$\Gamma(\alpha_2,\beta_2)$，混合概率为$p,(1-p)$，那么混合分布的pdf为

$$f(x)= \begin{cases} \frac{1-p}{\beta_2^{\alpha_2}\Gamma(\alpha_2)}x^{\alpha_2-1}e^{-x/\beta_2}&0<x\leq 1\\ \frac{p}{\beta_1^{\alpha_1}\Gamma(\alpha_1)}(\log x)^{\alpha_1-1}x^{-(\beta_1+1)/\beta_1}+\frac{1}{\beta_2^{\alpha_2}\Gamma(\alpha_2)}x^{\alpha_2-1}e^{-x/\beta_2}&1<x\\ 0&elsewhere \end{cases}$$

假设$\beta_1<2^{-1}$，该混合分布的均值与方差为

$$\begin{align*} \mu&=p(1-\beta_1)^{-\alpha_1}+(1-p)\alpha_2\beta_2\\ \sigma^2&=p[(1-2\beta_1)^{-\alpha_1}-(1-\beta_1)^{-2\alpha_1}]\\ &\quad +(1-p)\alpha_2\beta_2^2+p(1-p)[(1-\beta_1)^{-\alpha_1}-\alpha_2\beta_2]^2 \end{align*}$$

混合分布有时候也成为复合。进一步我们没必要限制在有限多个分布。如下面的例子所示，连续的加权函数可以替换$p_1,p_2,\ldots,p_k$；即积分替换求和符号。

$\textbf{例2：}$令$X_{\theta}$是参数为$\theta$的泊松随机变量，对每个不同的$\theta$值，我们想得到无限多个混合的泊松分布，我们取加权函数为$\theta$的pdf，即参数为$\alpha,\beta$的伽玛函数，对$x=0,1,2,\ldots$，复合分布的pmf为

$$\begin{align*} p(x) &=\int_0^\infty\left[\frac{1}{\beta^\alpha\Gamma(\alpha)}\theta^{\alpha-1}e^{-\theta/\beta}\right]\left[\frac{\theta^xe^{-\theta}}{x!}\right]d\theta\\ &=\frac{1}{\Gamma(\alpha)\beta^\alpha x!}\int_0^\infty\theta^{\alpha+x-1}e^{-\theta(1+\beta)/\beta}d\theta\\ &=\frac{\Gamma(\alpha+x)\beta^x}{\Gamma(\alpha)x!(1+\beta)^{\alpha+x}} \end{align*}$$

其中第三行使用了变换替换$t=\theta(1+\beta)/\beta$。

当$\alpha=r,\beta=(1-p)/p$其中$0<p<1,r$为正整数时，pmf变成

$$p(x)=\frac{(r+x-1)!}{(r-1)!}\frac{p^r(1-p)^x}{x!},\ x=0,1,2,\ldots$$

这个复合分布就是成功概率为$p$的独立重复试验成功次数超过$r$的概率；这是负二项分布的形式，在车祸数量的问题中负二项分布是很好的模型。

在复合分布中，我们也可以将$X$的原分布看成给定$\theta$的条件分布，用$f(x|\theta)$表示，那么加权函数可以看成$\theta$的pdf$g(\theta)$。联合pdf为$f(x|\theta)g(\theta)$且复合pdf可以看成$\theta$的边缘pdf

$$h(x)=\int_{\theta}g(\theta)f(x|\theta)d\theta$$

当$\theta$是离散分布时积分符号改成求和符号。假设正态分布的均值为0方差为$\sigma^2=1/\theta>0$，其中$\theta$来自某个随机模型。方便起见，我们说后者为参数$\alpha,\beta$的伽玛分布，那么给定$\theta,X$是条件$N(0,1/\theta)$分布，使得$X,\theta$的联合分布为

$$f(x|\theta)g(\theta)=\left[\frac{\sqrt{\theta}}{\sqrt{2\pi}}\exp\left(\frac{-\theta x^2}{2}\right)\right]\left[\frac{1}{\beta^\alpha\Gamma(\alpha)}\theta^{\alpha-1}\exp(-\theta/\beta)\right]$$

其中$-\infty<x<\infty,0<\theta<\infty$，因此$(h(x))$的边缘pdf通过积分$\theta$即可求出；即

$$h(x)=\int_0^{\infty}\frac{\beta^{\alpha+1/2-1}}{\beta^\alpha\sqrt{2\pi}\Gamma(\alpha)}\exp\left[-\theta\left(\frac{x^2}{2}+\frac{1}{\beta}\right)\right]d\theta$$

通过比较参数$\alpha+\frac{1}{2},[(1/\beta)+(x^2/2)]^{-1}$的伽玛pdf，我们可以得到

$$h(x)=\frac{\Gamma(\alpha+\frac{1}{2})}{\beta^\alpha\sqrt{2\pi}\Gamma(\alpha)}\left(\frac{2\beta}{2+\beta x^2}\right)^{\alpha+1/2},\ \infty<x<\infty$$

有趣的是如果$\alpha=r/2,\beta=2/r$，其中$r$为正整数，那么$X$就是自由度为$r$的$t$分布，即我们得到了$t$分布的推广形式。注意得出的分布相比开始的条件正态分布有更严重的厚尾现象。

$\textbf{例3：}$假设我们有一个二项分布，但是我们不确定成功的概率$p$。假设$p$来自某个随机过程，它满足参数$\alpha,\beta$的贝塔pdf，那么$n$个独立试验成功的次数$X$满足条件二项分布，使得$X,p$的联合pdf为

$$p(x|p)g(p)=\frac{n!}{x!(n-x)!}p^x(1-p)^{n-x}\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}p^{\alpha-1}(1-p)^{\beta-1}$$

其中$x=0,1,\ldots,n,0<p<1$。那么$X$的无条件pdf为

$$\begin{align*} h(x) &=\int_0^1\frac{n!\Gamma(\alpha+\beta)}{x!(n-x)!\Gamma(\alpha)\Gamma(\beta)}p^{x+\alpha-1}(1-p)^{n-x+\beta-1}dp\\ &=\frac{n!\Gamma(\alpha+\beta)\Gamma(x+\alpha)\Gamma(n-x+\beta)}{x!(n-x)!\Gamma(\alpha)\Gamma(\beta)\Gamma(n+\alpha+\beta)},x=0,1,2,\ldots,n \end{align*}$$

现在假设$\alpha,\beta$是正整数；因为$\Gamma(k)=(k-1)!$，这个无条件pdf可以写成

$$h(x)=\frac{n!(\alpha+\beta-1)!(x+\alpha-1)!(n-x+\beta-1)!}{x!(n-x)!(\alpha-1)!(\beta-1)!(n+\alpha+\beta-1)!},x=0,1,2,\ldots,n$$

因为条件均值$E(X|p)=np$，无条件均值为$n\alpha/(\alpha+\beta)$，这是因为贝塔分布的均值等于$\alpha/(\alpha+\beta)$。

$\textbf{例4：}$假设$X$满足参数为$k,\theta^{-1}$的条件伽玛pdf，$\theta$的加权函数是参数为$\alpha,\beta$的伽玛pdf，所以$X$的无条件pdf为

$$\begin{align*} h(x) &=\int_0^\infty\left[\frac{\theta^{\alpha-1}e^{-\theta/\beta}}{\beta^\alpha\Gamma(\alpha)}\right]\left[\frac{\theta^kx^{k-1}e^{-\theta x}}{\Gamma(k)}\right]d\theta\\ &=\int_0^\infty\frac{x^{k-1}\theta^{\alpha+k-1}}{\beta^\alpha\Gamma(\alpha)\Gamma(k)}e^{-\theta(1+\beta x)/\beta}d\theta \end{align*}$$

比较参数为$\alpha+k,\beta/(1+\beta x)$的伽玛pdf，从而得到

$$h(x)=\frac{\Gamma(\alpha+k)\beta^kx^{k-1}}{\Gamma(\alpha)\Gamma(k)(1+\beta x)^{\alpha+k}},\ 0<x<\infty$$

这是广义的$Pareto$分布(广义$F$分布)，当然当$k=1$($X$是条件指数分布)，那么pdf为

$$h(x)=\alpha\beta(1+\beta x)^{-(\alpha+1)},0<x<\infty$$

这是$Pareto$pdf。这两个复合pdf都比开始的伽玛分布有严重的厚尾。

广义$Pareto$分布无法用简单的闭形式表达，但是$Pareto$分布可以

$$H(x)=\int_0^x\alpha\beta(1+\beta t)^{-(\alpha+1)}dt=1-(1+\beta x)^{-\alpha},\ 0\leq x<\infty$$

从中我们通过$X=Y^{\tau}$可以得到另一种有用的长尾分布，其中$0<\tau$，所以$Y$的cdf为

$$G(y)=P(Y\leq y)=P[X^{1/\tau}\leq y]=P[X\leq y^{\tau}]$$

因此，这个概率等于

$$G(y)=H(y^{\tau})=1-(1+\beta y^{\tau})^{-\alpha},0\leq y<\infty$$

对应的pdf为

$$G^\prime(y)=g(y)=\frac{\alpha\beta\tau y^{\tau-1}}{(1+\beta y^{\tau})^{\alpha+1}},0<y<\infty$$

我们称这个分布为变换$Pareto$分布或者$Burr$分布，它给出了建模厚尾分布的分布。