什么叫共轭先验或者共轭分布?

原创 2012年03月10日 16:58:00

如果你读过贝叶斯学习方面的书或者论文,想必是知道共轭先验这个名词的。

现在假设你闭上眼睛,你能准确地说出共轭分布是指哪个分布和哪个分布式共轭的吗?

我之前就常常把这个关系弄错,现在记录如下,以加强印象。

贝叶斯学派和频率学派的区别之一是特别重视先验信息对于inference的影响,而引入先验信息的手段有“贝叶斯原则“(即把先验信息当着均匀分布)等四大类

其中有重要影响的一类是:共轭先验

现在假设我们有这样几类概率:P(\theta)(先验分布), p(\theta|X)(后验分布), p(X), p(X|\theta) (似然函数)

它们之间的关系可以通过贝叶斯公式进行连接: 后验分布 = 似然函数* 先验分布/ P(X)

之所以采用共轭先验的原因是可以使得先验分布和后验分布的形式相同,这样一方面合符人的直观(它们应该是相同形式的)另外一方面是可以形成一个先验链,即现在的后验

分布可以作为下一次计算的先验分布,如果形式相同,就可以形成一个链条。

为了使得先验分布和后验分布的形式相同,我们定义:

如果先验分布和似然函数可以使得先验分布和后验分布有相同的形式,那么就称先验分布与似然函数是共轭的

所以回答文章开头提出的问题:共轭是指的先验分布和似然函数

很容易造成误解是会以为后验分布和先验分布共轭或者后验分布和似然函数共轭。

 

云平台分布式调度系统的演进

深度介绍公有云后台的内部架构设计与实现。首先从云计算的核心挑战开始,分析在大规模集群当中云的分布式调度系统需要解决哪些主要问题,然后详细讲述业界的一个发展历程,尤其是OpenStack在这个历程中的意义和价值,以及一些新兴的开源软件对云调度系统的总结和反思。最后会重点讲述腾讯云VStation基于腾讯的海量后台经验,如何设计腾讯云的后台架构和经验总结,并与OpenStack做一个对比。
  • 2017年09月25日 10:10

贝叶斯学习及共轭先验

今天的主要任务是来理解共轭先验。最近在研究主题模型,里面提到了这个,所以有必要学习和掌握。     Contents      1. 共轭先验的概念    2. Beta分布和伯努力分布    3. ...
  • ACdreamers
  • ACdreamers
  • 2015-10-13 22:25:41
  • 10489

共轭先验分布

简要介绍共轭先验分布的优势及其参数确定
  • u010945683
  • u010945683
  • 2015-10-16 23:37:51
  • 5421

先验概率、后验概率以及共轭先验

在贝叶斯学派的观点中,先验概率、后验概率以及共轭先验的概念非常重要。而在机器学习中,我们阅读很多资料时也要频繁地跟他们打交道。所以理清这些概念很有必要。本文将通过几个例子详细解释关于先验概率、后验概率...
  • baimafujinji
  • baimafujinji
  • 2016-05-11 22:24:35
  • 17997

先验分布、后验分布、共轭分布、共轭先验分布、

参考: http://blog.sina.com.cn/s/blog_b9a335010102vfdf.html 0. 贝叶斯公式 X为抽样样本,P(X)为我们抽到该样本的概率,...
  • xbmatrix
  • xbmatrix
  • 2017-03-18 13:51:26
  • 1927

beta分布及共轭Bernoulli分布-先验、后验、预测分布

beta分布介绍如下为beta分布的形式,其分布有两个参数, α \alpha和β\beta。其分布形式如下 其中, Γ(x)\Gamma(x) 是Gamma函数。其中beta分布定义...
  • qy20115549
  • qy20115549
  • 2016-11-23 16:53:56
  • 1347

机器学习之先验分布,后验分布,共轭先验分布

共轭先验分布的提出:某观测数据服从概率分布p(θ),当观测到新的数据时,思考下列问题:1.能否根据新观测数据X更新参数θ;2.根据新观测的数据可以在多大的程度上改变参数θ:θ=θ+rθ;当重新估计得到...
  • hsj1213522415
  • hsj1213522415
  • 2017-02-25 11:06:46
  • 1740

模式识别与机器学习(二):常用的概率分布(共轭分布等)

本系列是经典书籍《Pattern Recognition and Machine Learning》的读书笔记,正在研读中,欢迎交流讨论。...
  • u014313009
  • u014313009
  • 2016-03-10 21:07:37
  • 11036

理解共轭先验

理解共轭先验对于应用贝叶斯理论的人来说,当你观察一个事件x ,你预估计并给出其内部参数θ ,表示你对于事件x 发生的置信程度。如果你熟悉贝叶斯方法,当你每次观测到新的x 数据时你就会更新你预先给出的参...
  • mdming412
  • mdming412
  • 2016-08-13 01:24:09
  • 493

概率分布之共轭分布

共轭分布(conjugate distribution)的概率中一共涉及到三个分布:先验、似然和后验,如果由先验分布和似然分布所确定的后验分布与该先验分布属于同一种类型的分布,则该先验分布为似然分布的...
  • jteng
  • jteng
  • 2017-03-13 22:15:17
  • 1521
收藏助手
不良信息举报
您举报文章:什么叫共轭先验或者共轭分布?
举报原因:
原因补充:

(最多只允许输入30个字)