首先总结一下定义:
若先验分布和似然函数使得先验分布和后验分布的形式相同,则称先验分布和似然函数是共轭的。
补充说明:
先验分布:给定模型,参数u服从先验分布p(u)
似然函数:给定模型与参数u下样本集合D与这一概率模型的似然程度p(D|u)=Πp(xn|u)
后验分布:已知样本D下参数u服从的分布p(u|D)
三者之间的关系:p(u|D)=p(D|u)·p(u)/p(D)
举个例子:
二项分布 ←这个是给定模型 ,以及参数u
重复采样N次,得到数据集D={x1,x2....xN},则有似然函数:
引入Beta分布:
则
可见后验分布和先验分布的形式是一样的。因此Beta分布和二项分布的似然函数是共轭的。
意义:
1.符合人的直观,如果模型能够很好的描述样本,那么后验分布应当和先验分布是相似的。
2.可以形成一个先验链,即:当有新的观测数据时,把上一次的后验概率作为先验概率,乘以新数据的似然函数,即可得到新的后验概率。(传统的做法则是用先验概率乘以所有数据的似然函数得到后验概率)
补充:
共轭先验这一知识是来自于贝叶斯学习,贝叶斯学习强调先验知识对结论的影响,而引入先验知识的手段有四大类,共轭先验是其中有重大影响的一类。
所以,需要继续学习的知识是为贝叶斯学习相关的内容。