概率图模型(Probabilistic Graphical Model,简称PGM)是一类用图结构来表达各属性之间相关关系的概率模型。这类模型结合了概率论与图论的知识,利用图来表示与模型有关的变量的联合概率分布。以下是对概率图模型的详细笔记:
一、基本概念
- 定义:
- 概率图模型是用图来表示变量概率依赖关系的理论,它提供了一种描述随机变量之间关系的图形化方法。
- 组成:
- 节点(Node):图中的每个节点表示一个或一组随机变量。
- 边(Edge):节点之间的边表示变量间的相关关系或依赖关系。
- 分类:
- 根据边有无方向性,概率图模型可以分为有向图模型(如贝叶斯网络)和无向图模型(如马尔可夫网络)。
- 根据表示的抽象级别,可以分为基于随机变量的概率图模型和基于模板的概率图模型。
二、主要模型
- 贝叶斯网络(Bayesian Network,BN):
- 也称为有向无环图模型(Directed Acyclic Graph,DAG),图中的每个节点都对应于一个先验概率分布或者条件概率分布。
- 贝叶斯网络中的节点之间通过有向边连接,表示了变量之间的因果关系或条件依赖关系。
- 贝叶斯网络中的独立性可以根据图的结构直接判定,这有助于简化联合概率分布的计算。
- 马尔可夫网络(Markov Network,MN):
- 也称为无向图模型,图中的每个节点表示一个或一组变量,节点之间的边表示两个变量之间的依赖关系。
- 马尔可夫网络中的联合概率分布通常表达为一系列势函数(potential function)的乘积,这些势函数定义了变量之间的相关关系。
- 马尔可夫网络中的条件独立性通过分离集(separator set)来实现。
- 隐马尔可夫模型(Hidden Markov Model,HMM):
- 是一种特殊的动态贝叶斯网络,用于描述含有隐含未知参数的马尔可夫过程。
- HMM中的变量分为状态变量和观测变量,状态变量是隐含的,观测变量是可见的。
- HMM的马尔可夫性体现在下一个状态的取值仅依赖于当前状态,而观测变量的取值仅依赖于当前状态变量。
- 马尔可夫随机场(Markov Random Field,MRF):
- 是一种典型的马尔可夫网络,使用无向边来表达变量间的依赖关系。
- MRF中的联合概率分布通过势函数来定义,势函数描述了团(clique)中变量之间的相关关系。
- MRF中的条件独立性通过分离集来实现,具有全局马尔可夫性、局部马尔可夫性和成对马尔可夫性。
- 条件随机场(Conditional Random Field,CRF):
- 是一种对条件分布进行建模的概率图模型,属于局部有向模型。
- CRF在给定观测值序列后,对状态序列的概率分布进行建模,即P(y|x)。
- CRF也通过团以及势函数的概念来定义条件概率P(y|x),在链式CRF中,主要包含单个状态团及相邻状态团。
三、应用与优势
- 应用领域:
- 概率图模型在人工智能、机器学习、计算机视觉、自然语言处理、语音识别、专家系统、用户推荐、社交网络挖掘、生物信息学等领域有广泛应用。
- 优势:
- 概率图模型提供了一个描述框架,能够将不同领域的知识抽象为概率模型,将问题归结为计算概率模型里某些变量的概率分布。
- 它能够评估未知量取值的可能性,对不同取值的概率给出量化的估计,这在涉及风险的决策系统中非常重要。
- 概率图模型常常具有良好的复用性,例如,一个关于基因和表现型的家族遗传路径的概率模型,就能处理关于遗传病风险的各种推理问题。
四、学习与推断
- 学习:
- 概率图模型的学习算法分为参数学习与结构学习。参数学习主要关注如何根据训练数据估计模型参数,结构学习则关注如何确定模型的结构。
- 推断:
- 推断是指在给定模型参数和观测数据的情况下,计算其他变量的概率分布或特定查询的概率值。
- 常见的推断算法包括变量消去法、信念传播算法等。
综上所述,概率图模型是一种强大的工具,用于描述和推理随机变量之间的复杂关系。通过结合概率论和图论的知识,概率图模型为不确定性推理和机器学习等领域提供了有力的支持。