CRF原理的理解与举例分析

1.以词性标注为例说明CRF的任务目标

句子	Bob	drank	coffee	at	Starbucks
可能的标注1	名词	动词	名词	介词	名词
可能的标注2	名词	动词	动词	介词	名词
	…	…	…	…	…

一个长度为k的句子，有m种词性，则有$k^m$种可能的标注方法。针对上述例子，第一种显然优于第二种，因为动词+动词这种形式一般不符合语法。

CRF做的事情就是给这$k^m$种可能的标注方法打分，找出其中评分最好的那个标注序列。打分基于CRF算法定义的特征函数，上述所说的动词+动词或者动词+名词，既可以理解成一种特征函数。

打分的方法就是定义一个特征函数的集合，用这个集合给序列打分，即把集合中所有特征函数对序列的打分加和。

2.CRF的特征函数

特征函数接受4个参数：

• 句子s
• i：代表当前观察的是句子的第i个单词
• $l_i$:句子中第i个单词的词性
• $l_{i-1}$句子中第i-1个单词的词性

$$f(s,i,l_{i-1},l_i)=\{\begin{array}{ll}0& 当前输入不符合该特征\\ 1& 当前输入符合该特征\end{array}$$

如当前特征函数为动词+名词，如果当前第i-1和第i个单词分别为动词和名称则函数值为1，否则为0

3. 从特征函数到概率

针对每个特征函数$f_j$都有对应的权重${\lambda }_j$(这个权重是trainable的)。则用定义的特征函数集合，对一个标注序列的打分如下：
$$score(l|s)=\sum _{j=1}^m\sum _{i=1}^n{\lambda }_j{f}_j(s,i,l_{i-1},l_i)$$
外层求和每一个特征函数和权重乘积的和，内层求句子中每个位置特征函数和权重乘积的和

序列标注的概率可以认为是该序列的分数和所有可能序列分数的比值。

进行指数化和标准化后：$$\frac{exp(score(l|s))}{{\sum }_{l^{\prime }\in l_{all}}exp(score(l^{\prime }|s))}$$

4. VS逻辑回归

CRF是逻辑回归的序列化版本

5. VS HMM

HMM：$$p(l|s)=\prod _{i}p(l_i|l_{i-1})p(w_i|l_i)$$
取log化以后：$$logp(l|s)=\sum _{i}logp(l_i|l_{i-1})+logp(w_i|l_i)$$

如果把HMM中的log部分看成是CRF中的权重$\lambda$,则HMM是由发射概率和转移概率两种特征的CRF。

因此可以认为HMM等价于CRF的一种特例。

显然CRF比HMM强大：

1. CRF可以定义数量更多，种类更丰富的特征函数。
2. 权重不需要像HMM那样是log形式的，可以是任意值。