共轭分布推导

3. 二项式分布的共轭分布是( C )
   A. 正态分布
   B. Dirichlet分布
   C. Beta分布
   D. 指数分布
4. 多项式分布的共轭分布是( B )
   A. 正态分布
   B. Dirichlet分布
   C. Beta分布
   D. 指数分布

先看贝叶斯公式：$$p(\theta |x)=\frac{p(x|\theta )p(\theta )}{\int p(x|\theta )p(\theta )d\theta }$$
其中，$p(\theta |x)$是后验概率posterior，$p(x|\theta )$是似然估计likelihood，$p(\theta )$是先验概率prior。分母是evidence，可以看作是做归一化正则化处理，不会影响后验的分布。
共轭分布： 如果将似然函数的分布和先验概率的分布带入贝叶斯公式，得到的后验分布和先验分布是同一个分布，那么就称似然函数分布和先验概率分布为共轭分布。
二项式分布与Beta分布为共轭分布推导：
假设先验概率服从beta分布，即$\theta \sim Beta({\alpha }_1,{\alpha }_2)$
则，我们可以写成：$$p(\theta |{\alpha }_1,{\alpha }_2)=Beta(\theta |{\alpha }_1,{\alpha }_2)=\frac{\Gamma ({\alpha }_1+{\alpha }_2)}{\Gamma ({\alpha }_1)\Gamma ({\alpha }_2)}{\theta }^{{\alpha }_1-1}(1-{\theta }^{{\alpha }_2-1})$$
其中$\Gamma$函数为阶乘函数。
同理，假设似然函数的分布为二项式分布，则可以写出：
$$p(x|\theta ,n)={(}_x^n){\theta }^x(1-\theta {)}^{n-x}$$
同时，
$${(}_x^n)=\frac{\Gamma (x)}{\Gamma (n)\Gamma (n-x)}$$
故，
$$p(\theta |x)\propto p(\theta |{\alpha }_1,{\alpha }_2)p(x|\theta ,n)=Beta({\alpha }_1+x,{\alpha }_2+n-x)$$
同时，分母evidence不影响分布。故，二项式分布与Beta分布为共轭分布。
除此之外，多项式分布和Dirichlet分布为共轭分布，泊松分布和伽马分布为共轭分布。笔者能力有限，推导需要不少时间，其他共轭分布暂不做推导。同时考试也大概率不会涉及，仅需记住即可。