1.极大似然估计原理详解:
2.共轭先验:
先验概率通常是主观的猜测,为了使计算后验概率方便,有时候会选择共轭先验。如果后验概率和先验概率是同一族的,则认为它们是共轭分布,这个先验概率就是对应于似然函数的共轭先验。
贝叶斯学派和频率学派的区别之一是特别重视先验信息对于inference的影响,而引入先验信息的手段有“贝叶斯原则“(即把先验信息当着均匀分布)等四大类
其中有重要影响的一类是:共轭先验
现在假设我们有这样几类概率:P(\theta)(先验分布), p(\theta|X)(后验分布), p(X), p(X|\theta) (似然函数)
它们之间的关系可以通过贝叶斯公式进行连接: 后验分布 = 似然函数* 先验分布/ P(X)
之所以采用共轭先验的原因是可以使得先验分布和后验分布的形式相同,这样一方面合符人的直观(它们应该是相同形式的)另外一方面是可以形成一个先验链,即现在的后验
分布可以作为下一次计算的先验分布,如果形式相同,就可以形成一个链条。
为了使得先验分布和后验分布的形式相同,我们定义: