混合分布(mixture distribution)

1 基本概念

  在概率与统计中，如果我们有一个包含多个随机变量的随机变量集合，再基于该集合生成一个新的随机变量，则该随机变量的分布称为混合分布(mixture distribution)。具体来说，首先，根据给定概率从集合中随机选取一个随机变量，然后再实现(realize)该随机变量的值。集合中的随机变量可以是随机实数，也可以是随机向量（每个向量的维数相同），在这种情况下，混合分布是多变量分布。
  如果集合中的随机变量是连续的，则生成的随机变量也将是连续的，其概率密度函数有时被称为混合密度(mixture density)。累积分布函数（以及概率密度函数，如果存在的话）可以表示为其它分布函数和密度函数的凸组合（即加权和，非负权重总和为1）。单分布(individual distribution)被组合在一起形成混合分布，我们称这些单分布为混合分量(mixture component)，与每个分量对应的概率（或权重）称为混合权重。混合分布中分量的个数通常是有限的，尽管在某些情况下分量个数可能无穷大。
  需要区分两种情况。第一种情况，某个随机变量的分布函数或密度是分量集合（例如，混合分布）之和；第二种情况，一个随机变量的值是两个或者更多基本随机变量的和，这时用卷积运算给出分布。举例来说，两个均值不等的联合正态分布随机变量之和，仍然满足正态分布。然而，用两个具有不同均值的正态分布产生的混合密度，只要两个均值距离足够远，则分布会具有两个峰值，表明这个分布与正态分布有根本不同。

  下面我们就来具体看下这个例子。我们考虑随机变量集合中有两个正态分布的随机变量，这两个正态分布的方差相等，但均值不等。现在从该集合中等概率(50%)地选取一个随机变量，得到结果变量。与单个正态分布相比，总体分布将呈现较低的峰度–单个正态分布的均值落在总体分布的肩膀上。如果两个峰值离得足够远，例如标准偏差的两倍以上即$|{\mu }_1-{\mu }_2|>2\sigma$，就形成双峰分布；否则就只是具有宽峰。结果变量的变化也较两个原始随机变量的变化更剧烈（由于从不同均值扩展而来），因此与偏差固定为$\sigma$的正态分布相比，呈现出过度分散性。然而，如果与偏差等于整体分布偏差的正态分布相比，则结果变量的分布不会表现出过度分散性。换句话说，过度分散性是由于两个均值带来的。
  反之，如果两个随机变量的均值相等，则结果变量的分布将呈现大的峰度，即具有比单个正态分布更为陡峭的峰值和更严重的拖尾（也即肩膀更浅）。

2 基本性质

• 有限可数混合
    给定概率密度函数集合$p_1(x),\dots ,p_n(x)$，或者相应的累计分布函数$P_1(x),\dots ,P_n(x)$，以及权重$w_1,\dots ,w_n$，这里$w_i\le 0$且$\sum w_i=1$，可得密度函数
  $$p(x)=\sum _{i=1}^n{w}_i{p}_i(x),$$或分布函数
  $$F(x)=\sum _{i=1}^n{w}_i{P}_i(x),$$这里二者均为凸组合。

• 凸性
    概率密度函数的组合不一定是概率密度，因为它可能为负或者积分结果不为零。然而，概率密度函数的凸组合保持了这两个特性（非负以及积分等于1），因此混合密度本身就是概率密度函数。

• 矩
    设$X_1,X_2,\dots ,X_n$表示$n$个分量分布的随机变量，$X$表示混合分布的随机变量。因此，对于函数$H(\cdot )$，如果$\mathbb{E}[H(X_i)]$存在，并且假定分量分布$p_i(x)$存在，则有
  $$\begin{array}{rl}\mathbb{E}[H(X)]& ={\int }_{-\infty }^{\infty }H(x)\sum _{i=1}^n{w}_i{p}_i(x)dx\\ & =\sum _{i=1}^n{w}_i{\int }_{-\infty }^{\infty }{p}_i(x)H(x)\\ & =\sum _{i=1}^n{w}_i\mathbb{E}[H(X_i)].\end{array}$$不难发现，$j$阶原点矩是分量$j$阶矩的加权平均。进一步，关于$H(x)=(x-\mu {)}^j$的均值（即$j$阶中心距）为二项式展开
  $$\begin{array}{rl}\mathbb{E}[(X-\mu {)}^j]& =\sum _{i=1}^n{w}_i\mathbb{E}[(X_i-{\mu }_i+{\mu }_i-\mu {)}^j]\\ & =\sum _{i=1}^n{w}_i\sum _{k=0}^j\left(\genfrac{}{}{0ex}{}{j}{k}\right)({\mu }_i-\mu {)}^{j-k}\mathbb{E}[(X_i-{\mu }_i{)}^k]\end{array}$$其中${\mu }_i$表示第$i$个分量的均值。
    考虑权重为$w_i$，均值为${\mu }_i$，方差为${\sigma }_i$的一维分布的混合分布，其均值和方差为
  $$\begin{array}{rl}& \mathbb{E}[X]=\mu =\sum _{i=1}^n{w}_i{\mu }_i,\\ & E[(X-\mu {)}^2]={\sigma }^2=\sum _{i=1}^n{w}_i[({\mu }_i-\mu {)}^2+{\sigma }_i^2]=\sum _{i=1}^n{w}_i({\mu }_i^2+{\sigma }_i^2)-{\mu }^2.\end{array}$$这些关系突出了混合分布有可能具有非平凡高阶矩（如偏斜和峰度（肥尾）以及多模态）的潜力，即使分量本身没有此类特征。