条件随机场：Conditionl Random Field

CRF

条件随机场是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔可夫随机场。条件随机场可以用于不同的预测问题。

---

概率无向图模型

定义

概率无向图模型又称为马尔可夫随机场(Markov Random Field)，是一个可以由无向图表示的联合概率分布。

图一般记作$G=(V,E)$，其中$V$表示节点，$E$表示边。概率图模型是由图表示的概率分布，设有联合概率分布$P(Y),Y\in \cal Y$是一组随机变量，由无向图$G=(V,E)$表示概率分布$P(Y)$,在图中节点$v\in V$表示一个随机变量$Y_v$，边$e\in E$表示随机变量之间的概率依赖关系。

给定一个联合概率分布$P(Y)$和其所对应的无向图$G$。那么其具有的性质有：

1. 成对马尔可夫性: 在无向图中，任意一对随机变量在其余随机变量下条件独立。即：$P(Y_u,Y_v\mid {\bf Y_o} )=P(Y_v\mid {\bf Y_o} )P(Y_u\mid {\bf Y_o} )$
   • 局部马尔可夫性:在无向图中，一个点与其非邻接结点所对应的随机变量(组)在邻接结点对应的随机变量(组)下条件独立，即：$P({\bf Y_o},Y_v\mid {\bf Y_w} )=P({\bf Y_o}\mid {\bf Y_w} )P(Y_v\mid {\bf Y_w} )$

   • 全局马尔可夫性:无向图中的被一个结点集合$C$分为其他两部分$A,B$，那么在结点集合$C$对应的随机变量组的条件下，$A,B$对应的随机变量组条件独立。即：$P({\bf Y_A},{\bf Y_B}\mid {\bf Y_C} )=P({\bf Y_A}\mid {\bf Y_C} )P({\bf Y_B}\mid {\bf Y_C} )$

     $\color{red}{上述三种性质是等价的！}$

     定义（概率无向图模型） 设有联合概率分布$P(Y)$，由无向图$G=(V,E)$表示,在图$G$中节点表示随机变量，边表示随机变量之间的依赖关系。如果联合概率分布$P(Y)$满足成对、局部或全局马尔可夫性，则称次联合概率分布为概率无向图模型或者马尔可夫随机场。

   • 因子分解

     定义 (团、最大团) 无向图$G$中任何两个结点均有边连接的结点子集称为团(clique)。若$C$是无向图$G$的一个团，并且不能再加进行任何一个$G$的结点使其成为一个更大的团，则称之为最大团(maximal clique)。

     将概率无向图模型的联合概率分布表示为其最大团上的随机变量的函数的乘积形式的操作， 称之为概率无向图的因子分解（factorization）。
     那么概率无向图模型的联合概率分布$P(Y)$可以表示为：
     

     $$P(Y) = \frac{\underset {C}\prod \psi_C(Y_C)}{\underset {y}\sum \underset {C}\prod \psi_C(Y_C)}$$
     其中， $C$是无向图中的最大团，$Y_C$是 $C$的结点对应的随机变量， $\psi_C(Y_C)$是 $C$上定义的严格正函数，乘积是在所有的最大团上进行的。

     ---

     条件随机场

     定义

     条件随机场时给定随机变量$X$的条件下，随机变量 $Y$的马尔可夫随机场。 设$X$与 $Y$是随机变量，$P(Y\mid X)$是在给定 $X$的条件下$Y$的条件概率分布。若随机变量 $Y$构成一个由无向图$G=(V,E)$表示的马尔可夫随机场，即 $P(Y_v \mid X,Y_w,w\neq v) = P(Y_v\mid X,Y_w,w\sim v)$对任意结点 $v$都成立，则称条件概率分布$P(Y\mid X)$为条件随机场(CRF)。

     定义(线性链条件随机场) 设$X=(X_1,X_2,\cdots,n),Y=(Y_1,Y_2,\cdots,Y_n)$均为线性链表示的随机变量序列，若在给定随机变量序列$X$的条件下，随机变量序列$Y$的条件概率分布$P(Y\mid X)$构成条件随机场，即满足马尔可夫性：$P(Y_i \mid X,Y_1,Y_2,\cdots,Y_{i-1},Y_{i+1},\cdots,Y_n) = P(Y_i \mid X,Y_{i-1},Y_{i+1},\cdots,Y_n)$,则称$P(Y\mid X)$为线性链条件随机场。在标注问题中，$X$表示输入观测序列，$Y$表示对应的输出标记序列或者状态序列。

     参数形式

     简化形式

     矩阵形式

     ---

     概率计算问题

     前向-后向算法

     ---

     学习算法

     极大似然估计

     ---

     Reference:
     [1]李航：《统计学习方法》