Machine Learning Series No.8 -- CRF(Conditional Random field)

条件随机场

判别模型

常用场景：词性标注。CRF可以考虑相邻数据的标记信息。

---

概率图模型

概率图模型（Probabilistic graphical model，PGM）是由图表示的概率分布。

概率无向图模型

概率无向图模型（Probabilistic undirected graphical model）又称马尔可夫随机场（Markov random field），表示一个联合概率分布，其标准定义为：设有联合概率分布 P(V) 由无向图 G=(V, E) 表示，图 G 中的节点表示随机变量，边表示随机变量间的依赖关系。如果联合概率分布 P(V) 满足成对、局部或全局马尔可夫性，就称此联合概率分布为概率无向图模型或马尔可夫随机场。

成对马尔可夫性(Pairwise Markov Property)

局部马尔科夫性（Local）

全局马尔科夫性（global）

pairwise,local,global这三种马尔可夫性定义等价。

---

有向图的联合概率分布

​ 有向图$G^d = (V^d，E^d)$，有:

$$P(v_1^d,v_2^d,\cdots,v_n^d)=\prod_{i=1}^n P(v_i^d|v_{\pi i}^d)$$
其中 $v_{\pi i}^d$是 $v_i^d$的父节点集合。

无向图的联合概率分布

​ 不同于有向图模型，无向图模型的无向性很难确保每个节点在给定它的邻节点的条件下的条件概率和以图中其他节点为条件的条件概率一致。由于这个原因，无向图模型的联合概率并不是用条件概率参数化表示的，而是定义为由一组条件独立的局部函数的乘积形式。因子分解就是说将无向图所描述的联合概率分布表达为若干个子联合概率的乘积，从而便于模型的学习和计算。

涉及概率无向图的因子分解理论：

概率无向图的联合概率表示成其最大团上的随机变量的函数的连乘形式。

最大团(max clique)：

无向图中任意两个节点均有边连接的结点子集成为团。

而最大团是指一个团，若再多加一个结点便不能成团的结点子集。

条件随机场

条件随机场（Conditional random field，CRF）是条件概率分布模型 P(Y|X) ，表示的是给定一组输入随机变量 X 的条件下另一组输出随机变量 Y 的马尔可夫随机场，也就是说 CRF 的特点是假设输出随机变量构成马尔可夫随机场。

数学化表示：

$$P(Y_v|X,Y_w,w \ne v)=P(Y_v|X,Y_w,w - v)~~~\forall v$$
其中， $w-v$表示和 $v$相连的所有结点。这样$Y$便是马尔科夫随机场。

1.线性链条件随机场

​ 设X,Y都是由线性链表示的随机变量序列，若给定X，P(Y|X)构成条件随机场，则有：

$$P(Y_i|X,Y_1,Y_2,\cdots,Y_{i-1},Y_{i+1},\cdots,Y_n)=P(Y_i|X,Y_{i-1},Y_{i+1})$$
​ 因为 $Y_{i-1}和Y_{i+1}$在线性链情况下，是和 $Y_i$相连的两个结点。

​ 数学形式：(基于最大团分解，在线性链模型中，最大团就是两个相邻结点)

简化的数学形式：

同样也可以分为学习问题、解码问题、概率计算问题。其思路与HMM类似。

---

参考文献

https://www.cnblogs.com/Determined22/p/6915730.html

https://www.cnblogs.com/pinard/p/7048333.html