机器学习的数学基础 1. 共轭先验 Conjugate Prior

首先总结一下定义：

若先验分布和似然函数使得先验分布和后验分布的形式相同，则称先验分布和似然函数是共轭的。

补充说明：

先验分布：给定模型，参数u服从先验分布p(u)

似然函数：给定模型与参数u下样本集合D与这一概率模型的似然程度p(D|u)=Πp(xn|u)

后验分布：已知样本D下参数u服从的分布p(u|D)

三者之间的关系：p(u|D)=p(D|u)·p(u)/p(D)

举个例子：

二项分布     ←这个是给定模型 ，以及参数u

重复采样N次，得到数据集D={x1,x2....xN}，则有似然函数：

引入Beta分布：

则

可见后验分布和先验分布的形式是一样的。因此Beta分布和二项分布的似然函数是共轭的。

意义：

1.符合人的直观，如果模型能够很好的描述样本，那么后验分布应当和先验分布是相似的。

2.可以形成一个先验链，即：当有新的观测数据时，把上一次的后验概率作为先验概率，乘以新数据的似然函数，即可得到新的后验概率。（传统的做法则是用先验概率乘以所有数据的似然函数得到后验概率）

补充：

共轭先验这一知识是来自于贝叶斯学习，贝叶斯学习强调先验知识对结论的影响，而引入先验知识的手段有四大类，共轭先验是其中有重大影响的一类。

所以，需要继续学习的知识是为贝叶斯学习相关的内容。