条件随机场(Conditional Random Field)简介

条件随机场(CRF)由Lafferty等人于2001年提出，是一种判别式概率模型，在许多自然语言处理任务中比如分词，命名实体识别等表现尤为出色。本篇与lafferty原始论文相同，将着重介绍条件随机场的一种特殊形式——线性链条件随机场(Linear Chain CRF)。

为什么需要CRF

作为Motivation，我们考虑如下词性标注任务：

对于一段输入文字“The dog barks”，我们希望获得他的词性标注“The/D(冠词) dog/N(名词) barks/V(动词)"。也就是对于一段输入序列$\vec{x}=[x_1,x_2,....,x_n]$,我们希望获得相应的特定任务的输出序列$\vec{s}=[s_1,s_2,...,s_n]$。比如刚刚举的词性标注例子，此时$x_n$将对应字典集$\text{V}$里面的词，$s_n$则是词性集$\text{S}$里面的元素

一个解决方案——MEMM

为了解决上述问题，一个解决思路是建立一个条件概率模型：
$$p(\vec{s}|\vec{x})$$
McCallum等人为了解决HMM模型表达能力的局限性，于2000年提出了MEMM(Maximum Entropy Markov Model)，该模型如下：
$$\begin{gathered} p(\vec{s}|\vec{x}) \\ =p(s_1,s_2,....,s_n|x_1,x_2,...,x_n) \\ =\prod _{i=1}^{n}p(s_i|s_1,s_2,...,s_{i-1},x_1,x_2,...,x_n) \\ =\prod _{i=1}^{n}p(s_i|s_{i-1},x_1,x_2,...,x_n) \\ =\prod _{i=1}^n\frac{exp({\vec{w}}^{T}f(s_i,s_{i-1},\vec{x}))}{{\sum }_{s^{\prime }\in S}exp({\vec{w}}^{T}f(s^{\prime },s_{i-1},\vec{x}))} \end{gathered}$$
MEMM做了一个假设，就是状态的转移仅仅依赖于上一状态(这里我将标注标签称为一种状态)。在这样的假设下，转移概率被定义为：
$$\begin{gathered} p(s_i|s_{i-1},x_1,x_2,...,x_n) \\ =\frac{exp({\vec{w}}^{T}f(s_i,s_{i-1},\vec{x}))}{{\sum }_{s^{\prime }\in S}exp({\vec{w}}^{T}f(s^{\prime },s_{i-1},\vec{x}))} \end{gathered}$$
其中$f(s_i,s_{i-1},\vec{x})$是特征函数，作用是将当前状态和上一状态连同输入映射为一个数值向量：
$$f(s_i,s_{i-1},\vec{x})\to R^d$$
$\vec{w}$是权重向量，是模型的参数。通过这样定义，可以很容易求解模型参数$\vec{w}$，并用viterbi算法求出该模型下的最优序列$\vec{s}$。
##Label Bias Problem
MEMM虽然可以很优雅地解决上述问题，然而却存在一个重大缺点，也就是所谓的“标注偏好”问题。什么是标注偏好呢？那就是模型在为输入序列$\vec{x}$打标签的时候，存在偏袒心里，会倾向于选择某些标签。且看stanford大学的一个PPT：

从图中可以观察，局部状态转移时，$s_1$倾向于转移到$s_2$，而$s_2$倾向于停留在$s_2$, 但是最终最好的序列却是：$s_1,s_1,s_1,s_1$(0.40.450.5=0.09取得最大概率！)。为什么会这样呢？注意到$s_1$只有两种转移状态：$s_1,s_2$，而$s2$有5种转移状态:$s_1,s_2,s_3,s_4,s_5$。对于$s_1$的转移概率，由MEMM的定义，可得：
$$\begin{gathered} p(s_1|s_1,\vec{x})=\frac{exp({\vec{w}}^{T}f(s_1,s_1,\vec{x}))}{{\sum }_{s^{\prime }\in s_1,s_2}exp({\vec{w}}^{T}f(s^{\prime },s_1,\vec{x}))} \\ p(s_2|s_1,\vec{x})=\frac{exp({\vec{w}}^{T}f(s_2,s_1,\vec{x}))}{{\sum }_{s^{\prime }\in s_1,s_2}exp({\vec{w}}^{T}f(s^{\prime },s_1,\vec{x}))} \end{gathered}$$
而对于$s2$的转移概率计算则是：
$$\begin{gathered} p(s_1|s_2,\vec{x})=\frac{exp({\vec{w}}^{T}f(s_1,s_2,\vec{x}))}{{\sum }_{s^{\prime }\in s_1,...,s_5}exp({\vec{w}}^{T}f(s^{\prime },s_2,\vec{x}))} \\ p(s_2|s_2,\vec{x})=\frac{exp({\vec{w}}^{T}f(s_2,s_2,\vec{x}))}{{\sum }_{s^{\prime }\in s_1,...,s_5}exp({\vec{w}}^{T}f(s^{\prime },s_2,\vec{x}))} \\ . \\ . \\ . \\ p(s_5|s_2,\vec{x})=\frac{exp({\vec{w}}^{T}f(s_5,s_2,\vec{x}))}{{\sum }_{s^{\prime }\in s_1,...,s_5}exp({\vec{w}}^{T}f(s^{\prime },s_2,\vec{x}))} \end{gathered}$$
说明什么问题呢？因为$s_1$的转移状态很少，所以不管实际训练观测值有多少，由于每一步的状态转移概率都要归一化，所以$s_1$的转移概率都会被放大，而$s_2$由于转移状态多，因此每一步转移概率归一化的时候都被平均分摊了。因此在计算最优序列的时候，MEMM会偏袒那些状态转移少的标签，而忽略了实际观察值，为了说明该现象，我们再举出原始论文的例子，如下图：

假设我们有一个辨别单词的状态机，对于单词rib和rob，从字母r出发分出两条边，经过i和o，最后到达b。对于MEMM，它对于一个单词$x$判断是rib的概率为：
$$p(rib|x)=p(r|\ast ,x)p(i|r,x)p(b|i,x)$$
判断为rob的概率为：
$$p(rob|x)=p(r|\ast ,x)p(o|r,x)p(b|o,x)$$
注意到$p(b|i,x)=p(b|o,x)=1$,因为这些状态的转移都只有一条边，所以必然转移到下一个状态，那么只要训练数据中rob更加多，也就是$p(i|r,x)<p(o|r,x)$那么在预测阶段，预测值将始终是rob，而不管实际观测值$x$。
#CRF
为了解决Label Bias Problem，CRF便诞生了。首先我们必须明确MEMM产生Label Bias的根源是什么，这是因为MEMM的状态转移概率的计算方式，为了获得转移概率，它每一步的状态转移都会进行归一化，从而导致问题的产生。CRF认清了问题的根源，只要不要在每一步状态转移进行归一化，而在全局进行归一化即可：
$$p(\vec{s}|\vec{x})=\frac{exp({\vec{w}}^T\Phi (\vec{s},\vec{x}))}{{\sum }_{\overrightarrow{s^{\prime }}\in S^n}exp({\vec{w}}^T\Phi (\overrightarrow{s^{\prime }},\vec{x}))}$$
CRF相对于MEMM做了几个改动，首先在特征函数上面做了变动：
$$\Phi (\vec{s},\vec{x})\to R^d$$
它将输入序列$\vec{x}$和输出标注$\vec{s}$映射为一个d维实数向量，而MEMM的特征函数拥有的信息只是输入序列$\vec{x}$和当前状态以及上一个状态，也就是说CRF的特征函数掌握信息量更多，从而表达能力更强。第二个的改进是它不再每一次状态转移进行归一化，而是在全局进行归一化，这样完美解决Label Bias问题。
有得必有失，注意到模型的分母需要罗列所有的状态序列，对于序列长度为$n$的输入序列，状态序列的个数为$|S{|}^n$，对于这种指数增长问题，在实际应用中一般都是intractable的，只能付诸于近似求解，比如我们之前提过的Variational Bayes或者Gibbs Sampling等等。不过有一种特殊结构的CRF，精确快速求解的方式是存在的，因此在早期得以广泛应用。
##Linear Chain CRF
此处揭晓我们的主角——线性链CRF。熟悉概率图模型的同学可以一睹它的容貌：

对于这样的无向图，通过定义特征函数$\Phi$，可以将原来intractable的问题变为tractable。我们来看看到底是如何定义的：
$$\Phi (\vec{s},\vec{x})=\sum _i\varphi (s_{i-1},s_i,\vec{x})$$
对于第$k$维的特征函数值则记录为:
$${\Phi }_k(\vec{s},\vec{x})=\sum _i{\varphi }_k(s_{i-1},s_i,\vec{x})$$
通过这样巧妙的定义：全局特征等于局部特征的和，一切阻碍都迎刃而解！
###参数估计
接下来我们介绍对于Linear Chain CRF如何进行参数参数估计的。假设我们有训练集$\overrightarrow{x^1},\overrightarrow{x^2},...,\overrightarrow{x^N}$，对应的标注集合$\overrightarrow{s^1},\overrightarrow{s^2},...,\overrightarrow{s^N}$，那么其对应的对数似然函数为：
$$\begin{gathered} L=\sum _i^{N}logp(\overrightarrow{s^i}|\overrightarrow{x^i}) \\ =\sum _i^{N}log\frac{exp({\vec{w}}^T\Phi (\overrightarrow{s^i},\overrightarrow{x^i}))}{{\sum }_{\overrightarrow{s^{\prime }}\in S^n}exp({\vec{w}}^T\Phi (\overrightarrow{s^{\prime }},\overrightarrow{x^i}))} \\ =\sum _i^{N}log\frac{exp({\sum }_k{w}_k{\Phi }_k(\overrightarrow{s^i},\overrightarrow{x^i}))}{{\sum }_{\overrightarrow{s^{\prime }}\in S^n}exp({\sum }_k{w}_k{\Phi }_k(\overrightarrow{s^{\prime }},\overrightarrow{x^i}))} \end{gathered}$$
对$w_j$进行求导可得：
$$\begin{gathered} \frac{\partial L}{\partial w_j}=\sum _i^N{\Phi }_j(\overrightarrow{s^i},\overrightarrow{x^i})-\sum _i^N\frac{{\sum }_{s^{\prime }\in S^n}exp({\sum }_k{w}_k{\Phi }_k(\overrightarrow{s^{\prime }},\overrightarrow{x^i})){\Phi }_j(\overrightarrow{s^i},\overrightarrow{x^i})}{{\sum }_{\overrightarrow{s^{\prime }}\in S^n}exp({\sum }_k{w}_k{\Phi }_k(\overrightarrow{s^{\prime }},\overrightarrow{x^i}))} \\ =\sum _i^N{\Phi }_j(\overrightarrow{s^i},\overrightarrow{x^i})-\sum _i^N\sum _{\overrightarrow{s^{\prime }}\in S^n}p(\overrightarrow{s^{\prime }}|x^i){\Phi }_j(\overrightarrow{s^i},\overrightarrow{x^i}) \end{gathered}$$
问题出现在上面减号的右半部分，我们单独讨论(为了记号方便，我们省去上标$i$)：
$$\begin{gathered} \sum _{\vec{s}\in S^n}p(\vec{s}|x){\Phi }_j(\vec{s},\vec{x}) \\ =\sum _{\vec{s}\in S^n}p(\vec{s}|x)\sum _k{\varphi }_j(s_{k-1},s_k,\vec{x}) \\ =\sum _k\sum _{\vec{s}\in S^n}p(\vec{s}|x){\varphi }_j(s_{k-1},s_k,\vec{x}) \\ =\sum _k\sum _{a\in S,b\in S}{\varphi }_j(s_{k-1}=a,s_k=b,\vec{x})\sum _{\vec{s}\in S^n,s_k=b,s_{k-1}=a}p(\vec{s}|\vec{x}) \end{gathered}$$
现在问题在于对于任意$a,b$我们是否能快速求解
$$\begin{gathered} \sum _{\vec{s}\in S^n,s_k=b,s_{k-1}=a}p(s_1,s_2,...,s_{i-1},s_i,...,s_n|\vec{x}) \\ =\sum _{\vec{s}\in S^n,s_k=b,s_{k-1}=a}p(s_1,s_2,...,s_{k-1},s_k,...,s_n|\vec{x}) \\ =p(s_{k-1}=a,s_k=b|\vec{x}) \end{gathered}$$

Forward-Backward 算法

首先对于如下概率图模型：

根据定义，我们可得：
$$p(\vec{s}|\vec{x})=\frac{\psi (\vec{s},\vec{x})}{\psi (\vec{x})}=\frac{exp({\vec{w}}^T\Phi (\vec{s},\vec{x}))}{{\sum }_{\overrightarrow{s^{\prime }}\in S^n}exp({\vec{w}}^T\Phi (\overrightarrow{s^{\prime }},\vec{x}))}$$
因此有：
$$\begin{gathered} \psi (\vec{x})=\sum _{\vec{s}\in S^n}exp({\vec{w}}^T\Phi (\vec{s},\vec{x})) \\ =\sum _{\vec{s}\in S^n}exp(\sum _k{w}_k\sum _j{\varphi }_k(s_{j-1},s_j,\vec{x})) \\ =\sum _{\vec{s}\in S^n}exp(\sum _j\sum _k{w}_k{\varphi }_k(s_{j-1},s_j,\vec{x})) \\ =\sum _{\vec{s}\in S^n}\prod _{j}exp(\sum _k{w}_k{\varphi }_k(s_{j-1},s_j,\vec{x})) \end{gathered}$$
对于熟悉概率图模型的同学，如果我们定义：
$$\psi (s_{j-1},s_j)=exp(\sum _k{w}_k{\varphi }_k(s_{j-1},s_j,\vec{x}))$$
那么$\psi (s_{j-1},s_j)$就是链式CRF图模型的一个因子，$s_{j-1},s_j$是其最大clique。因此：
$$\begin{gathered} \psi (\vec{x})=\sum _{s_1}\sum _{s_2}...\sum _{s_n}\prod _{j=1}^{n+1}\psi (s_{j-1},s_j) \\ =\sum _{s_1}\sum _{s_2}...\sum _{s_n}\psi (s_0=\ast ,s_1)\psi (s_1,s_2)...\psi (s_{n-1},s_n)\psi (s_n,s_{n+1}=STOP) \\ =[\sum _{s_n}\psi (s_n,STOP)[\sum _{s_{n-1}}\psi (s_{n-1},s_n)...[\sum _{s_1}\psi (s_1,s_2)[\psi (\ast ,s_1)]...] \end{gathered}$$
如果定义
$$\alpha (s_k)=[\sum _{s_{k-1}}\psi (s_{k-1},s_k)[\sum _{s_{k-2}}\psi (s_{k-2},s_{k-1})...[\sum _{s_1}\psi (s_1,s_2)\psi (\ast ,s_1)]...]$$
则容易得到如下动态规划方程：
$$\alpha (s_k)=\sum _{s_{k-1}}\psi (s_{k-1},s_k)\alpha (s_{k-1})$$
因此有：
$$\psi (\vec{x})=\alpha (s_{n+1})=\sum _{s_n}\psi (s_n,STOP)\alpha (s_n)$$
该动态规划方程便是forward阶段，其初始值定义为：
$$\alpha (s_1)=\psi (\ast ,s_1)$$
若用程序实现，伪代码如下：

# n为序列x的长度
for s in S:
	alpha(1,s) = psi(*,s)
for(m = 2; m <= n; m++):
	for s in S:
		for s' in S:
			alpha(m, s) += psi(s', s) * alpha(m-1, s')
for s in S:
	alpha(n+1, STOP) += psi(s, STOP) * alpha(n, s)

类似的有：
$$\begin{gathered} \psi (\vec{x})=\sum _{s_1}\sum _{s_2}...\sum _{s_n}\prod _{j=1}^{n+1}\psi (s_{j-1},s_j) \\ =\sum _{s_1}\sum _{s_2}...\sum _{s_n}\psi (\ast ,s_1)\psi (s_1,s_2)...\psi (s_{n-1},s_n)\psi (s_n,STOP) \\ =[\sum _{s_1}\psi (\ast ,s_1)[\sum _{s_2}\psi (s_1,s_2)...[\sum _{s_{n-1}}\psi (s_{n-2},s_{n-1})[\sum _{s_n}\psi (s_{n-1},s_n)\psi (s_n,STOP)]...] \end{gathered}$$
如果定义
$$\beta (s_k)=[\sum _{s_{k+1}}\psi (s_k,s_{k+1})...[\sum _{s_{n-1}}\psi (s_{n-2},s_{n-1})[\sum _{s_n}\psi (s_{n-1},s_n)\psi (s_n,STOP)]...]$$
则容易得到如下动态规划方程：
$$\beta (s_{k-1})=\sum _{s_k}\psi (s_{k-1},s_k)\beta (s_k)$$
因此有：
$$\psi (\vec{x})=\beta (s_0)=\sum _{s_1}\psi (\ast ,s_1)\beta (s_1)$$
该动态规划方程便是backward阶段，其初始值定义为：
$$\beta (s_n)=\psi (s_n,STOP)$$
伪代码实现如下：

＃n为序列x的长度
for s in S:
	beta(n, s) = psi(s, STOP)
for(m = n-1; m >= 1; m--):
	for s in S:
		for s' in S:
			beta(m, s) += psi(s, s') * beta(m+1, s')
for s in S:
	beta(0, *) = psi(*, s) * beta(1, s)

有上述的动态规划方程，我们可以很方便求解$\alpha ,\beta$所对应的各个值。
对于$\alpha ,\beta$,现在我们考察发现：
$$\begin{gathered} \frac{\alpha (s_k)\beta (s_k)}{\psi (\vec{x})} \\ =[\sum _{s_{k-1}}\psi (s_{k-1},s_k)[\sum _{s_{k-2}}\psi (s_{k-2},s_{k-1})...[\sum _{s_1}\psi (s_1,s_2)\psi (\ast ,s_1)]...] \\ \ast [\sum _{s_{k+1}}\psi (s_k,s_{k+1})...[\sum _{s_{n-1}}\psi (s_{n-2},s_{n-1})[\sum _{s_n}\psi (s_{n-1},s_n)\psi (s_n,STOP)]...]/\psi (\vec{x}) \\ =\frac{{\sum }_{s_1}{\sum }_{s_2}...{\sum }_{s_{k-1}}{\sum }_{s_{k+1}}...{\sum }_{s_n}{\prod }_j\psi (s_{j-1},s_j,\vec{x})}{\psi (\vec{x})} \\ =p(s_k|\vec{x}) \end{gathered}$$
也既是：
$$p(s_k|\vec{x})=\frac{\alpha (s_k)\beta (s_k)}{\psi (\vec{x})}$$
同理可得：
$$p(s_{k-1},s_k|\vec{x})=\frac{\alpha (s_{k-1})\psi (s_{k-1},s_k)\beta (s_k)}{\psi (\vec{x})}$$
由于能高效求出$\alpha ,\beta$,边缘概率$p(s_{k-1},s_k|\vec{x})$也可高效求出，那么我们可以精确高效地求出梯度！
只要能快速求解梯度，接下来我们就可以利用SGD或者L-BFGS对CRF进行快速参数估计。

序列推断(Inference)

现在模型参数估计已经知道如何求解了，接下来就是对于一个新的输入序列$\vec{x}$，如何推测最优的标注序列：
$$\arg \underset{\vec{s}\in S^n}{\max }p(\vec{s}|\vec{x})$$
首先考虑：
$$\begin{gathered} \arg \underset{\vec{s}\in S^n}{\max }p(\vec{s}|\vec{x}) \\ =\arg \underset{\vec{s}\in S^n}{\max }\frac{exp({\vec{w}}^T\Phi (\vec{s},\vec{x}))}{{\sum }_{\overrightarrow{s^{\prime }}\in S^n}exp({\vec{w}}^T\Phi (\overrightarrow{s^{\prime }},\vec{x}))} \\ =\arg \underset{\vec{s}\in S^n}{\max }exp({\vec{w}}^T\Phi (\vec{s},\vec{x})) \\ =\arg \underset{\vec{s}\in S^n}{\max }{\vec{w}}^T\Phi (\vec{s},\vec{x}) \\ =\arg \underset{\vec{s}\in S^n}{\max }{\vec{w}}^T(\sum _i\varphi (s_{i-1},s_i,\vec{x})) \\ =\arg \underset{\vec{s}\in S^n}{\max }\sum _i{\vec{w}}^T\varphi (s_{i-1},s_i,\vec{x}) \end{gathered}$$

Viterbi算法

同样可以利用动态规划快速求解，我们首先定义一个动态规划表格$\pi (n,s)$，其含义是，以$s$结尾长度为$n$的最优序列，所谓的最优序列就是使得${\sum }_i{\vec{w}}^T\varphi (s_{i-1},s_i,\vec{x})$取得最大值。则其递推方程如下：
π ( n , s ) = max ⁡ s ′ ∈ S { π ( n − 1 , s ′ ) + w ⃗ T ϕ ( s ′ , s , x ⃗ ) } \pi(n,s)=\max_{s'\in S}\{\pi(n-1,s')+\vec{w}^T\phi(s',s,\vec{x})\} π(n,s)=s′∈Smax​{π(n−1,s′)+w Tϕ(s′,s,x )}
如果我们为每个训练数据加上人造初始状态$s_0$，那么该动态规划方程的初始解为：
$$\pi (1,s_1)={\vec{w}}^T\varphi (\ast ,s_1,\vec{x})$$
其为代码如下：

for s in S:
	pi(1, s) = w.dot(phi(*, s, x))

for(m = 2; m <= n; m++):
	for s in S:
		maxVal = -Infinity
		best = null
		for s' in S:
			val = pi(m-1, s') + w.dot(phi(s', s, x))
			if val > maxVal:
				maxVal = val
				best = s'
		pi(m, s) = maxVal
		bPtr(m, s) = best

maxVal = -Infinity
for s in S:
	val = pi(n, s) + w.dot(phi(s, STOP, x))
	if val > maxVal:
		bPtr(m+1,STOP) = s

因此我们可以非常迅速求解CRF的推断问题，而这样的动态规划解也被成为viterbi算法。
#参考引用
Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data
Log-Linear Models, MEMMs, and CRFs
The Forward-Backward Algorithm
Conditional random field PPT
Log-linear models and conditional random fields
PRML第8章《Graphical Models》
PRML第13章《Sequential Date》