概率分布之共轭分布

  共轭分布(conjugate distribution)的概率中一共涉及到三个分布：先验、似然和后验，如果由先验分布和似然分布所确定的后验分布与该先验分布属于同一种类型的分布，则该先验分布为似然分布的共轭分布，也称为共轭先验。
  比较绕嘴，下面从公式来理一下思路。假设变量$x$服从分布$P(x|\theta)$，其观测样本为$X=\{x_1,x_2,...,x_m\}$，参数$\theta$服从先验分布$\Pi(\theta)$。那么后验分布为
  $P(\theta|X) = \dfrac{\Pi(\theta) P(X|\theta)}{P(X)}$
如果后验分布$P(\theta|X)$与先验分布$\Pi(\theta)$是同种类型的分布，则称先验分布$\Pi(\theta)$为似然分布$P(X|\theta)$的共轭分布。
  比较常用的几个例子有：高斯分布是高斯分布的共轭分布，Beta分布是二项分布的共轭分布，Dirichlet分布是多项分布的共轭分布。下面对二项分布给出证明。
  假设变量$x \sim Bern(x|\mu)$，其观测样本$X=\{x_1,x_2,...,x_n\}$的概率分布为二项分布，$P(X|\mu) = C_n^k \mu^k (1-\mu)^{n-k}$，$k$为正例样本个数，假设$\mu \sim Beta(\mu|\alpha, \beta)$，那么$\mu$的后验分布为

$$\begin{align} P(\mu|X) &\propto Beta(\mu|\alpha,\beta)P(X|\mu) \\ &\propto \dfrac{\mu^{\alpha-1}(1-\mu)^{\beta-1}}{B(\alpha,\beta)} \mu^k (1-\mu)^{n-k} \\ &\propto \dfrac{1}{B(\alpha+k,\beta + n-k)}\mu^{\alpha+k-1}(1-\mu)^{\beta + n-k -1} \\ &=Beta(\mu|\alpha+k,\beta+n-k) \end{align}$$
后验分布仍为Beta分布，所以，Beta分布是二项分布的共轭分布。
  共轭分布不仅使求后验分布计算简单，更重要的是保留了先验分布的类型，使概率估计更加准确。