共轭先验的概念和优势——CVMLI Prince读书随笔第4章

什么是共轭性

一个分布$P$是另一个分布$Q$的共轭，则这两个分布相乘，分布形式与$P$相同（同族）。

共轭先验与贝叶斯方法

对于已有数据集$\mathbf{x}$，记似然估计为$P_1(\mathbf{x}|\lambda )$，其中$\lambda$是参数，先验分布为$P_2(\lambda ;\theta )$，其中$\theta$是参数先验分布的已知有关参数。

则参数的后验分布可以写为
$$P(\lambda |\mathbf{x};\theta )=\frac{P_1(\mathbf{x}|\lambda )P_2(\lambda ;\theta )}{P(\mathbf{x})}$$

如果$P_2$是$P_1$的共轭分布，则
$$P_1(\mathbf{x}|\lambda )P_2(\lambda ;\theta )=\kappa (\mathbf{x},\theta )P_2(\lambda ;\tilde{\theta })$$

其中$\kappa (\mathbf{x},\theta )$是一个$\lambda$无关的常数，$P_2(\lambda ;\tilde{\theta })$与$P_2(\lambda ;\theta )$有同样的形式。
由于概率对$\lambda$积分为1，所以$\kappa (\mathbf{x},\theta )=P(\mathbf{x})$，即$$P(\lambda |\mathbf{x};\theta )=P_2(\lambda ;\tilde{\theta })$$

共轭分布的优势一

• 共轭先验的好处在于保证了后验分布是一个已知形式的闭式解。
• 只要能把$P_2$的参数辨识出来，系数就可以不用在乎。例如先验分布为高斯分布，且是数据分布的共轭分布。那么只需把后验分布的均值和方差通过指数项系数辨识出来。不用在乎常数项。

贝叶斯密度预测

在给定数据集$\mathbf{x}$后，$x^{\ast }$处的密度概率为
$$\begin{array}{rl}P(x^{\ast }|\mathbf{x})& =\int P_1(x^{\ast }|\lambda )P(\lambda |\mathbf{x};\theta )d\lambda \\ & =\int P_1(x^{\ast }|\lambda )P_2(\lambda ;\tilde{\theta })d\lambda \\ & =\int \kappa (x^{\ast },\tilde{\theta })P_2(\lambda ;\breve{\theta })d\lambda \\ & =\kappa (x^{\ast },\tilde{\theta })\end{array}$$

共轭分布的优势二

贝叶斯的密度预测结果表达式居然是$\kappa (x^{\ast },\tilde{\theta })$，是一个形式简单的闭式解！

总结

对于共轭先验，只要把
$$P_1(\mathbf{x}|\lambda )P_2(\lambda ;\theta )=\kappa (\mathbf{x},\theta )P_2(\lambda ;\tilde{\theta })$$
当中的$\kappa (\mathbf{x},\theta )$和$\tilde{\theta }(\mathbf{x},\theta )$的表达式搞清楚，就能直接得到贝叶斯参数估计和密度估计的结果。

常见的似然与共轭

似然函数（数据分布）	共轭先验
Bernoulli分布	Beta分布
多类分布	Dirichlet分布
高斯分布	高斯分布（方差已知）
一维高斯分布	逆Gamma分布（均值已知）
一维高斯分布	正态逆Gamma分布
高维高斯分布	逆Wishart分布（均值已知）
高维高斯分布	正态逆Wishart分布

参考文献：
[1] Prince S J D. Computer vision: models, learning, and inference[M]. Cambridge University Press, 2012. 50-64.