【数学之美 系列十九】马尔可夫链的扩展 贝叶斯网络 (Bayesian Networks)

转载 2007年10月05日 04:20:00
2007年1月28日 下午 09:53:00
发表者:Google 研究员,吴军

我们在前面的系列中多次提到马尔可夫链 (Markov
Chain),它描述了一种状态序列,其每个状态值取决于前面有限个状态。这种模型,对很多实际问题来讲是一种很粗略的简化。在现实生活中,很多事物相互 的关系并不能用一条链来串起来。它们之间的关系可能是交叉的、错综复杂的。比如在下图中可以看到,心血管疾病和它的成因之间的关系是错综复杂的。显然无法 用一个链来表示。

我们可以把上述的有向图看成一个网络,它就是贝叶斯网络。其中每个圆圈表示一个状态。状态之间的连线表示它们的因果关系。比如从心血管疾病出发到吸烟的弧 线表示心血管疾病可能和吸烟有关。当然,这些关系可以有一个量化的可信度 (belief),用一个概率描述。我们可以通过这样一张网络估计出一个人的心 血管疾病的可能性。在网络中每个节点概率的计算,可以用贝叶斯公式来进行,贝叶斯网络因此而得名。由于网络的每个弧有一个可信度,贝叶斯网络也被称作信念 网络 (belief networks)。

和马尔可夫链类似,贝叶斯网络中的每个状态值取决于前面有限个状态。不同的是,贝叶斯网络比马尔可夫链灵活,它不受马尔可夫链的链状结构的约束,因此可以更准确地描述事件之间的相关性。可以讲,马尔可夫链是贝叶斯网络的特例,而贝叶斯网络是马尔可夫链的推广。

使用贝叶斯网络必须知道各个状态之间相关的概率。得到这些参数的过程叫做训练。和训练马尔可夫模型一样,训练贝叶斯网络要用一些已知的数据。比如在训练上 面的网络,需要知道一些心血管疾病和吸烟、家族病史等有关的情况。相比马尔可夫链,贝叶斯网络的训练比较复杂,从理论上讲,它是一个 NP- complete 问题,也就是说,对于现在的计算机是不可计算的。但是,对于某些应用,这个训练过程可以简化,并在计算上实现。

值得一提的是 IBM Watson 研究所的茨威格博士 (Geoffrey Zweig) 和西雅图华盛顿大学的比尔默 (Jeff Bilmes) 教授完成了一个通用的贝叶斯网络的工具包,提供给对贝叶斯网络有兴趣的研究者。

贝叶斯网络在图像处理、文字处理、支持决策等方面有很多应用。在文字处理方面,语义相近的词之间的关系可以用一个贝叶斯网络来描述。我们利用贝叶斯网络,可以找出近义词和相关的词,在 Google 搜索和 Google 广告中都有直接的应用。

固定链接  http://googlechinablog.com/2007/01/bayesian-networks.html  

数学之美系列十九:马尔可夫链的扩展 贝叶斯网络 (Bayesian Networks)

我们在前面的系列中多次提到马尔可夫链 (Markov Chain),它描述了一种状态序列,其每个状态值取决于前面有限个状态。这种模型,对很多实际问题来讲是一种很粗略的简化。在现实生活中,很多事物相互的...
  • RFC2008
  • RFC2008
  • 2012年05月01日 16:37
  • 726

马尔可夫链的扩展 贝叶斯网络 (Bayesian Networks)

我们在前面的系列中多次提到马尔可夫链 (Markov Chain),它描述了一种状态序列,其每个状态值取决于前面有限个状态。这种模型,对很多实际问题来讲是一种很粗略的简化。在现实生活中,很多事物...

数学之美13--所有输入法基本原理之"马尔科夫链"的扩展——贝叶斯网络

1.贝叶斯网络           a.定义:                将相互交叉、错综复杂的事情的关系图描述为一个网络,每个圆圈代表一个状态(事情),圆圈间的连线为两者间的关系,假...

《数学之美》马尔科夫链的扩展-贝叶斯网络

1.使用贝叶斯网络需要首先确定此网络的拓扑结构,并且还要知道各个状态之间相关的概率,即拓扑结构和这些参数的过程称为结构训练和参数训练。 2.结构训练:优化的贝叶斯网络结构要保证它产生的序列从头到...

概率图模型(03): 模板模型(动态贝叶斯, 隐马尔可夫和Plate模型)

本文介绍模板模型,分别讲解基于时间建模的时序模型:涉及动态贝叶斯,隐马尔科夫模型;和基于对象的建模的 Plate 模型。并结合案例举例讲解模型如何应用。...

数学之美系列三:隐含马尔可夫模型在语言处理中的应用

前言:隐含马尔可夫模型是一个数学模型,到目前为之,它一直被认为是实现快速精确的语音识别系统的最成功的方法。复杂的语音识别问题通过隐含马尔可夫模型能非常简单地被表述、解决,让我不由由衷地感叹数学模型之妙...
  • RFC2008
  • RFC2008
  • 2012年05月01日 15:48
  • 253

数学之美系列三:隐含马尔可夫模型在语言处理中的应用(语音识别,机器翻译,自动纠错)

在利用隐含马尔可夫模型解决语言处理问题前,先要进行模型的训练。隐含马尔可夫模型在处理语言问题早期的成功应用是语音识别。  八十年代李开复博士坚持采用隐含马尔可夫模型的框架,成功地开发了世界上第一个大词...

分类算法之贝叶斯网络(Bayesian networks)

2.1、摘要       在上一篇文章中我们讨论了朴素贝叶斯分类。朴素贝叶斯分类有一个限制条件,就是特征属性必须有条件独立或基本独立(实际上在现实应用中几乎不可能做到完全独立)。当这个条件成立时,朴...

分类算法之贝叶斯网络(Bayesian networks)

2.1、摘要       在上一篇文章中我们讨论了朴素贝叶斯分类。朴素贝叶斯分类有一个限制条件,就是特征属性必须有条件独立或基本独立(实际上在现实应用中几乎不可能做到完全独立)。当这个条件成立时...

动态贝叶斯网络:表示,推理和学习:摘要(Dynamic Bayesian Networks: Representation, Inderence and Learning)

Dynamic Bayesian Networks: Representation, Inderence and Learning Copyright 2002 by Kevin Patrick...
  • ws36699
  • ws36699
  • 2014年07月13日 12:03
  • 1997
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:【数学之美 系列十九】马尔可夫链的扩展 贝叶斯网络 (Bayesian Networks)
举报原因:
原因补充:

(最多只允许输入30个字)