（系列笔记）18.CRF（上）

CRF——概率无向图模型到线性链条件随机场

概率无向图

定义

概率无向图模型（Probabilistic Undirected Graphical Model） 是一个可以用无向图表示的联合概率分布，它的整体结构是一张图（Graph），图中每个节点表示一个或者一组变量，节点之间的边表示这两个/组变量之间的依赖关系，概率无向图模型也叫马尔科夫随机场：

势函数和团

介绍几个重要概念：

• 势函数（Potential Function，又称因子Factor）：是定义在变量子集上的非负实函数，用于定义概率分布函数。
• 团：图中节点的子集，其中任意两个节点之间都有边连接。
• 极大团：一个团，其中加入任何一个其他的节点都不能再形成团。

马尔科夫随机场中，多个变量之间的联合概率分布可以基于团分解为多个势函数的乘积，每个势函数仅与一个团相关。

Hammersley-Clifford 定理

对于N个变量的马尔科夫随机场，其变量为$X=(X_1,X_2,...,X_N)$，上图例子中N=6。

设所有的团构成的集合为C，与团$Q\in C$对应的变量集合记作$X_Q$，则联合概率为：

其中${\Psi }_Q$为团Q对应的势函数，用于对团Q中的变量关系进行建模。Z为规范化因子，很多时候要计算它很困难，不过好在大多数情况下，我们无须计算出Z的精确值。

当团Q不是极大团的时候，它必然属于某个极大团——实际上每一个非极大团都是如此，此时我们完全可以只用极大团来计算$P(X)$:

其中