什么叫共轭先验或者共轭分布?

原创 2012年03月10日 16:58:00

如果你读过贝叶斯学习方面的书或者论文,想必是知道共轭先验这个名词的。

现在假设你闭上眼睛,你能准确地说出共轭分布是指哪个分布和哪个分布式共轭的吗?

我之前就常常把这个关系弄错,现在记录如下,以加强印象。

贝叶斯学派和频率学派的区别之一是特别重视先验信息对于inference的影响,而引入先验信息的手段有“贝叶斯原则“(即把先验信息当着均匀分布)等四大类

其中有重要影响的一类是:共轭先验

现在假设我们有这样几类概率:P(\theta)(先验分布), p(\theta|X)(后验分布), p(X), p(X|\theta) (似然函数)

它们之间的关系可以通过贝叶斯公式进行连接: 后验分布 = 似然函数* 先验分布/ P(X)

之所以采用共轭先验的原因是可以使得先验分布和后验分布的形式相同,这样一方面合符人的直观(它们应该是相同形式的)另外一方面是可以形成一个先验链,即现在的后验

分布可以作为下一次计算的先验分布,如果形式相同,就可以形成一个链条。

为了使得先验分布和后验分布的形式相同,我们定义:

如果先验分布和似然函数可以使得先验分布和后验分布有相同的形式,那么就称先验分布与似然函数是共轭的

所以回答文章开头提出的问题:共轭是指的先验分布和似然函数

很容易造成误解是会以为后验分布和先验分布共轭或者后验分布和似然函数共轭。

 

共轭先验分布

简要介绍共轭先验分布的优势及其参数确定
  • u010945683
  • u010945683
  • 2015年10月16日 23:37
  • 4518

贝叶斯学习及共轭先验

今天的主要任务是来理解共轭先验。最近在研究主题模型,里面提到了这个,所以有必要学习和掌握。     Contents      1. 共轭先验的概念    2. Beta分布和伯努力分布    3. ...
  • ACdreamers
  • ACdreamers
  • 2015年10月13日 22:25
  • 9700

先验概率、后验概率以及共轭先验

在贝叶斯学派的观点中,先验概率、后验概率以及共轭先验的概念非常重要。而在机器学习中,我们阅读很多资料时也要频繁地跟他们打交道。所以理清这些概念很有必要。本文将通过几个例子详细解释关于先验概率、后验概率...
  • baimafujinji
  • baimafujinji
  • 2016年05月11日 22:24
  • 16250

先验分布、后验分布、共轭分布、共轭先验分布、

参考: http://blog.sina.com.cn/s/blog_b9a335010102vfdf.html 0. 贝叶斯公式 X为抽样样本,P(X)为我们抽到该样本的概率,...
  • xbmatrix
  • xbmatrix
  • 2017年03月18日 13:51
  • 1697

模式识别与机器学习(二):常用的概率分布(共轭分布等)

本系列是经典书籍《Pattern Recognition and Machine Learning》的读书笔记,正在研读中,欢迎交流讨论。...
  • u014313009
  • u014313009
  • 2016年03月10日 21:07
  • 10058

贝叶斯公式的共轭分布

共轭分布是一种极大简化贝叶斯分析的方法。其作用是有两个:1.简化贝叶斯公式中概率函数的计算;2.在贝叶斯公式包含多种概率分布的情况下,使这些分布的未知参数在试验前被赋予的物理意义,延续到试验后,便于分...
  • u014313009
  • u014313009
  • 2014年10月06日 08:13
  • 3085

机器学习之先验分布,后验分布,共轭先验分布

共轭先验分布的提出:某观测数据服从概率分布p(θ),当观测到新的数据时,思考下列问题:1.能否根据新观测数据X更新参数θ;2.根据新观测的数据可以在多大的程度上改变参数θ:θ=θ+rθ;当重新估计得到...
  • hsj1213522415
  • hsj1213522415
  • 2017年02月25日 11:06
  • 1214

关于Beta分布、二项分布与Dirichlet分布、多项分布的关系

From :
  • u010140338
  • u010140338
  • 2014年11月21日 10:20
  • 3149

beta分布和Dirichlet分布

经过前面的铺垫,下面正式进入主题: Gamma函数: 贝塔函数: 附赠贝塔函数的化简过程 贝塔分布的实验 实验一:有一个魔盒,上面有一个按钮,你每按一下按...
  • u014689510
  • u014689510
  • 2015年12月19日 14:07
  • 565

Dirichlet分布与共轭先验(conjugate prior)基本知识

1. 共轭先验与分布基本知识
  • dongweionly
  • dongweionly
  • 2014年07月30日 23:13
  • 988
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:什么叫共轭先验或者共轭分布?
举报原因:
原因补充:

(最多只允许输入30个字)