概率图模型

概率图模型（Probabilistic Graphical Model，简称PGM）是一类用图结构来表达各属性之间相关关系的概率模型。这类模型结合了概率论与图论的知识，利用图来表示与模型有关的变量的联合概率分布。以下是对概率图模型的详细笔记：

一、基本概念

1. 定义：
   • 概率图模型是用图来表示变量概率依赖关系的理论，它提供了一种描述随机变量之间关系的图形化方法。
2. 组成：
   • 节点（Node）：图中的每个节点表示一个或一组随机变量。
   • 边（Edge）：节点之间的边表示变量间的相关关系或依赖关系。
3. 分类：
   • 根据边有无方向性，概率图模型可以分为有向图模型（如贝叶斯网络）和无向图模型（如马尔可夫网络）。
   • 根据表示的抽象级别，可以分为基于随机变量的概率图模型和基于模板的概率图模型。

二、主要模型

1. 贝叶斯网络（Bayesian Network，BN）：
   • 也称为有向无环图模型（Directed Acyclic Graph，DAG），图中的每个节点都对应于一个先验概率分布或者条件概率分布。
   • 贝叶斯网络中的节点之间通过有向边连接，表示了变量之间的因果关系或条件依赖关系。
   • 贝叶斯网络中的独立性可以根据图的结构直接判定，这有助于简化联合概率分布的计算。
2. 马尔可夫网络（Markov Network，MN）：
   • 也称为无向图模型，图中的每个节点表示一个或一组变量，节点之间的边表示两个变量之间的依赖关系。
   • 马尔可夫网络中的联合概率分布通常表达为一系列势函数（potential function）的乘积，这些势函数定义了变量之间的相关关系。
   • 马尔可夫网络中的条件独立性通过分离集（separator set）来实现。
3. 隐马尔可夫模型（Hidden Markov Model，HMM）：
   • 是一种特殊的动态贝叶斯网络，用于描述含有隐含未知参数的马尔可夫过程。
   • HMM中的变量分为状态变量和观测变量，状态变量是隐含的，观测变量是可见的。
   • HMM的马尔可夫性体现在下一个状态的取值仅依赖于当前状态，而观测变量的取值仅依赖于当前状态变量。
4. 马尔可夫随机场（Markov Random Field，MRF）：
   • 是一种典型的马尔可夫网络，使用无向边来表达变量间的依赖关系。
   • MRF中的联合概率分布通过势函数来定义，势函数描述了团（clique）中变量之间的相关关系。
   • MRF中的条件独立性通过分离集来实现，具有全局马尔可夫性、局部马尔可夫性和成对马尔可夫性。
5. 条件随机场（Conditional Random Field，CRF）：
   • 是一种对条件分布进行建模的概率图模型，属于局部有向模型。
   • CRF在给定观测值序列后，对状态序列的概率分布进行建模，即P(y|x)。
   • CRF也通过团以及势函数的概念来定义条件概率P(y|x)，在链式CRF中，主要包含单个状态团及相邻状态团。

三、应用与优势

1. 应用领域：
   • 概率图模型在人工智能、机器学习、计算机视觉、自然语言处理、语音识别、专家系统、用户推荐、社交网络挖掘、生物信息学等领域有广泛应用。
2. 优势：
   • 概率图模型提供了一个描述框架，能够将不同领域的知识抽象为概率模型，将问题归结为计算概率模型里某些变量的概率分布。
   • 它能够评估未知量取值的可能性，对不同取值的概率给出量化的估计，这在涉及风险的决策系统中非常重要。
   • 概率图模型常常具有良好的复用性，例如，一个关于基因和表现型的家族遗传路径的概率模型，就能处理关于遗传病风险的各种推理问题。

四、学习与推断

1. 学习：
   • 概率图模型的学习算法分为参数学习与结构学习。参数学习主要关注如何根据训练数据估计模型参数，结构学习则关注如何确定模型的结构。
2. 推断：
   • 推断是指在给定模型参数和观测数据的情况下，计算其他变量的概率分布或特定查询的概率值。
   • 常见的推断算法包括变量消去法、信念传播算法等。

综上所述，概率图模型是一种强大的工具，用于描述和推理随机变量之间的复杂关系。通过结合概率论和图论的知识，概率图模型为不确定性推理和机器学习等领域提供了有力的支持。