机器学习基础--概率图模型

概率图模型

  即图模型，graphical model；PGM（Probabilistic Graphical Models）。
  几年前，概率图模型（图论和概率方法的合并）那是风靡一时。概率图流派，更符合人类的思维习惯。它将内在逻辑利用概率关系设计到模型当中，然后利用少量的数据就能训练出可以拟合大量场景的模型。
　　譬如，Nature 的一篇论文就是利用概率图模型模仿人类书法，并通过图灵测试。（这篇论文使用的是贝叶斯方法）
　　

定义

  概率图模型：是一类用图的形式表示随机变量之间条件依赖关系的概率模型。是概率论与图论的结合。

解释

Probabilistic（概率）

  首先解释下不确定性（Uncertainty）。产生不确定性的原因主要有：
　　1）对世界认知状态的不完整；
　　2）含有噪声的观测(Noisy observations)；
　　3）模型未能覆盖所有实际现象；
　　4）固有的随机性；
　　概率论，通常具有清晰的表达式，强推理模式，可建立的学习方法。

Graphical（图）

  来自计算机科学，是一种复杂数据结构。通常包括顶点和连接顶点的边。

分类

  根据图中边有无方向，常用的概率图模型分为两类：
  1）有向图：亦称贝叶斯网络(Bayesian Networks)或信念网络(Belief Networks, BN’s). 最简单的图模型是贝叶斯网络，通常贝叶斯网络使用有向无环图来表示，图中的顶点表示随机变量，图中的边沿表示随机变量之间的概率依赖

  2）无向图：即probabilistic undirected graphical model，亦称马尔可夫随机场(Markov Random Fields, MRF’s)或马尔可夫网络(Markov Networks)。是一个可以由无向图表示的联合概率分布。