共轭先验分布

背景

贝叶斯估计

贝叶斯参数估计的思考过程可以用下面这个公式说明：

$$先验分布+数据的知识=后验分布\ \ \ \ \ (*)$$

共轭先验分布的提出

1. 当没有任何观察数据时，随机变量 $\theta$ 服从概率分布 $P(\theta)$
2. 当观测到新的数据 $X$ 时，有如下问题：
   
   • 可否根据新观测到的数据$X$，更新参数 $\theta$
   • 根据新观测到的数据可以在多大程度上改变参数 $\theta$ : $\theta \leftarrow \theta+\Delta \theta$
   • 当重新估计 $\theta$ 的时候，如何给出其新的概率分布 $p(\theta|X)$

根据贝叶斯法则：

$$p(\theta|x)=\frac{P(x|\theta) \cdot P(\theta)}{P(x)} \propto P(x|\theta) \cdot P(\theta)$$ 其中 $P(x|\theta)$ 表示似然函数，可以直接求得。 $P(\theta)$ 表示 $\theta$ 的先验概率分布。若可以选择一个合适的先验分布 $p(\theta)$ 能使得。 后验概率分布 $P(\theta|x)$ 与 先验概率分布 $p(\theta)$ 有相同的形式，则能简化后验概率部分的求解。

定义

在贝叶斯概率理论中，如果后验概率 $P(\theta|x)$ 和先验概率 $p(\theta)$ 满足同样的分布律，那么，先验分布和后验分布叫做共轭分布。同时，先验分布叫做似然函数 $p(x|\theta)$ 的共轭先验分布。

例子

Beta-Binomial 共轭

类比于公式 $(*)$， Beta-Binomial 共轭结构可以用下面这个公式来说明：

$$Beta(p|\alpha,\beta) + BinomCount(m_{1},m_{2}) = Beta(p|\alpha+m_{1},\beta+m_{2})$$ 此处共轭的意识就是，数据符合二项分布的时候，若参数的先验分布为Beta分布，则参数的后验分布仍然为Beta分布。

证明如下：

$$\begin{equation} \begin{split} P(p|m_{1},m_{2}) &= \frac{P(p)\cdot P(m_{1},m_{2}|p)}{P(m_{1},m_{2})} \\ & = \frac{Beta(p|\alpha,\beta)\cdot Binomial(m_{1},m_{2}|p)}{\int Beta(t|\alpha,\beta)\cdot Binomial(m_{1},m_{2}|t)\ dt} \\ & = \frac{\frac{1}{B(\alpha,\beta)}p^{\alpha-1}(1-p)^{\beta-1}\cdot C_{m}^{m_{1}}p^{m_{1}}(1-p)^{m_{2}}}{\int \frac{1}{B(\alpha,\beta)}t^{\alpha-1}(1-t)^{\beta-1}\cdot C_{m}^{m_{1}}t^{m_{1}}(1-t)^{m_{2}}\ dt} \\ & = \frac{p^{\alpha+m_{1}-1}(1-p)^{\beta+m_{2}-1}}{\int t^{\alpha+m_{1}-1}(1-t)^{\beta+m_{2}-1} \ dt} \end{split} \end{equation}$$ 计算得到的后验分布正好是 $Beta(p|\alpha+m_{1},\beta+m_{2})$

Dirichlet-Multinomial 共轭

若将Beta分布扩展到 $N$ 维 Dirichlet分布，同时将 Binomial 分布扩展到 $N$ 维 Multinomial 分布，就得到了Beta-Binomial 共轭结构。可以用下面这个公式来说明：

$$Dir(\vec p|\vec \alpha) + MultiCount(\vec m) = Dir(\vec p|\vec \alpha + \vec m)$$ 此处共轭的意思就是，数据符合multinomial 分布，若参数的先验分布为Dirichlet分布，则参数的后验分布仍为Dirichlet分布。

Dirichlet 参数 $\vec p$ 的估计：
由于我们有了参数的后验概率分布为 $Dir(\vec p|\vec\alpha+\vec m)$，所以合理的方式是使用后验概率分布的极大值点，或者参数后验概率分布的期望值。在该文档中，我们取平均值作为参数的估计值。

$$E(\vec p)=(\frac{\alpha_{1}+m_{1}}{\sum_{i=1}^{N}(\alpha_{i}+m_{i})},\frac{\alpha_{2}+m_{2}}{\sum_{i=1}^{N}(\alpha_{i}+m_{i})},\ldots,\frac{\alpha_{N}+m_{N}}{\sum_{i=1}^{N}(\alpha_{i}+m_{i})})$$ 也就说对每个 $p_{i}$,我们可以用下式做参数估计：
$$\hat p_{i}=\frac{\alpha_{i}+m_{i}}{\sum_{i=1}^{N}(\alpha_{i}+m_{i})}$$ 考虑到 $\alpha_{i}$ 在 Dirichlet 分布中的物理意义是事件的先验伪计数，这个估计式子的含义是很直观的：每个参数的估计值是其对应事件的先验伪计数和观察到的数据中的计数之和在整体计数中的比例。