什么叫共轭先验或者共轭分布?

原创 2012年03月10日 16:58:00

如果你读过贝叶斯学习方面的书或者论文,想必是知道共轭先验这个名词的。

现在假设你闭上眼睛,你能准确地说出共轭分布是指哪个分布和哪个分布式共轭的吗?

我之前就常常把这个关系弄错,现在记录如下,以加强印象。

贝叶斯学派和频率学派的区别之一是特别重视先验信息对于inference的影响,而引入先验信息的手段有“贝叶斯原则“(即把先验信息当着均匀分布)等四大类

其中有重要影响的一类是:共轭先验

现在假设我们有这样几类概率:P(\theta)(先验分布), p(\theta|X)(后验分布), p(X), p(X|\theta) (似然函数)

它们之间的关系可以通过贝叶斯公式进行连接: 后验分布 = 似然函数* 先验分布/ P(X)

之所以采用共轭先验的原因是可以使得先验分布和后验分布的形式相同,这样一方面合符人的直观(它们应该是相同形式的)另外一方面是可以形成一个先验链,即现在的后验

分布可以作为下一次计算的先验分布,如果形式相同,就可以形成一个链条。

为了使得先验分布和后验分布的形式相同,我们定义:

如果先验分布和似然函数可以使得先验分布和后验分布有相同的形式,那么就称先验分布与似然函数是共轭的

所以回答文章开头提出的问题:共轭是指的先验分布和似然函数

很容易造成误解是会以为后验分布和先验分布共轭或者后验分布和似然函数共轭。

 

相关文章推荐

先验概率、后验概率以及共轭先验

在贝叶斯学派的观点中,先验概率、后验概率以及共轭先验的概念非常重要。而在机器学习中,我们阅读很多资料时也要频繁地跟他们打交道。所以理清这些概念很有必要。本文将通过几个例子详细解释关于先验概率、后验概率...

贝叶斯学习及共轭先验

今天的主要任务是来理解共轭先验。最近在研究主题模型,里面提到了这个,所以有必要学习和掌握。     Contents      1. 共轭先验的概念    2. Beta分布和伯努力分布    3. ...

模式识别与机器学习(二):常用的概率分布(共轭分布等)

本系列是经典书籍《Pattern Recognition and Machine Learning》的读书笔记,正在研读中,欢迎交流讨论。...

共轭先验分布

简要介绍共轭先验分布的优势及其参数确定

先验分布、后验分布、共轭分布、共轭先验分布、

参考: http://blog.sina.com.cn/s/blog_b9a335010102vfdf.html 0. 贝叶斯公式 X为抽样样本,P(X)为我们抽到该样本的概率,...

贝叶斯公式的共轭分布

共轭分布是一种极大简化贝叶斯分析的方法。其作用是有两个:1.简化贝叶斯公式中概率函数的计算;2.在贝叶斯公式包含多种概率分布的情况下,使这些分布的未知参数在试验前被赋予的物理意义,延续到试验后,便于分...

PRML读书会第二章 Probability Distributions(贝塔-二项式、狄利克雷-多项式共轭、高斯分布、指数族等)

第二章Probability Distributions的贝塔-二项式、狄利克雷-多项式共轭、高斯分布、指数族等很基础也很重要。...

机器学习之先验分布,后验分布,共轭先验分布

共轭先验分布的提出:某观测数据服从概率分布p(θ),当观测到新的数据时,思考下列问题:1.能否根据新观测数据X更新参数θ;2.根据新观测的数据可以在多大的程度上改变参数θ:θ=θ+rθ;当重新估计得到...

共轭先验以及 先验分布与后验分布

如果你读过贝叶斯学习方面的书或者论文,想必是知道共轭先验这个名词的。 贝叶斯学派和频率学派的区别之一是特别重视先验信息对于inference的影响,而引入先验信息的手段有“贝叶斯原则“(即把先验...

先验分布、后验分布、共轭先验分布

1、先验信息        在抽取样本之前,人们对所要估计的未知参数所了解的信息,通常称为先验信息. 某学生通过物理试验来确定当地的重力加速度,测得的数据为(m/s²): 9.80,  9....
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:什么叫共轭先验或者共轭分布?
举报原因:
原因补充:

(最多只允许输入30个字)