概率图模型-条件随机场（CRF）

1.引言

根据前面所写的HMM和HMMVSMEMMVSCRF，CRF也成了一个比较熟悉的概念了，作为HMM和MEMM的集大成者，由于有了之前HMM的研究基础，而CRF也是类似HMM的，有些问题的解决办法甚至是一模一样的，比如decoding问题，都是用的维特比算法，CRF作为一个无向图，和HMM还是有一些区别的，并且CRF是判别式模型。研究概率图模型一般都是从learning（求参数）和inference（求边缘概率，求条件概率，求最优状态序列）展开，故本文也从这分这两小节讲述。

2.Learning

求解CRF的learning问题，就先要知道CRF的概率密度函数，而这又要介绍无向图的团以及最大团的概念了。图的团就是一个两两之间有边的顶点集合，顶点最多的团，称之为图的最大团。而CRF的概率密度函数就能用团来表示。CRF概率密度函数的参数形式和向量形式如下图所示：

CRF概率密度的向量形式是为了方便计算CRF的learning问题。

learning问题就是去求解模型的参数，具体会用到梯度上升算法，前向和后向算法，还有变量消除的技巧，和HMM的求解过程还是有相似之处的，求解过程中都会建立一个用于前向和后向算法的函数，具体求解过程如下图所示：

3.inference

inference包括了三个主要的问题，求边缘概率，求条件概率，求最优状态序列。其中由于CRF为判别模型，故不用去求解第二个小问题，即条件概率。

1.求边缘概率

求边缘概率也会用到变量消除的技巧和前向，后向算法，类似于learning问题中的一些过程，具体如下图所示：

2.decoding

CRF的decoding问题和HMM的求解方法一致，都是用到了维特比算法，和模型有向无向问题不大。