第28课：CRF——概率无向图模型到线性链条件随机场

概率无向图

定义

概率无向图模型（Probabilistic Undirected Graphical Model）是一个可以用无向图表示的联合概率分布。

它的整体结构是一张图（Graph），图中每一个节点表示一个或者一组变量，节点之间的边表示这两个/组变量之间的依赖关系。

概率无向图模型还有一个名字——马尔可夫随机场。

下图就是一个简单的马尔可夫随机场：

势函数和团

关于马尔可夫随机场，有几个非常重要的概念：

势函数（Potential Function，又称为因子 Factor）：是定义在变量子集上的非负实函数，用于定义概率分布函数。

团（Clique）：图中节点的子集，其中任意两个节点之间都有边连接。

极大团：一个团，其中加入任何一个其他的节点都不能再形成团。

马尔可夫随机场中，多个变量之间的联合概率分布可以基于团分解为多个势函数的乘积，每个势函数仅与一个团相关。

Hammersley-Clifford 定理

对于 $N$ 个变量的马尔可夫随机场，其变量为 $X=(X_1,X_2, …X_N) $（上图例子中 $N=6$）。