【Learning Notes】线性链条件随机场（CRF）原理及实现

1. 概述

条件随机场（Conditional Random Field, CRF）是概率图模型（Probabilistic Graphical Model）与区分性分类( Discriminative Classification）的一种接合，能够用来对“结构预测”（structured prediction，e.g. 序列标注）问题进行建模。

如图1，论文 [1] 阐释了 CRF 与其他模型之间的关系。

图1. CRF 与 其他机器学习模型对比【src】

本文我们重点关注输入结点独立的“线性链条件随机场”（Linear-Chain CRF）（如图2）的原理与实现。线性链 CRF 通过与双向 LSTM（Bi-LSTM）的接合，可以用来建模更一般的线性链 CRF（图3），提高模型的建模能力。

图2. 简单的线性链 CRF【src】

图3. 一般性线性链 CRF【src】

2. CRF 算法

2.1 模型形式化

给定长度为 $m$ 的序列， 以及状态集 $S$。 对于任意状态序列 $(s_1,\cdots,s_m), s_i \in S$, 定义其“势”（potential）如下：

$$\psi(s_1,\dots, s_m) = \prod_{i=1}^m\psi (s_{i−1}, s_i , i)$$
我们定义 $s_0$ 为特殊的开始符号 $*$。这里对 $s, s^\prime ∈ S, i \in {1 , \dots, m}$，势函数 $\psi(s, s^\prime, i) \ge 0$。也即，势函数是非负的，它对序列第 $i$ 位置发生的 $s$ 到 $s^\prime$ 的状态转移都给出一个非负值。

根据概率图模型的因子分解理论[1]，我们有：

$$p(s_1,\dots,s_m|x_1,\dots, x_m) = \frac{\psi(s_1,\dots, s_m) }{\sum_{s^\prime_1,\dots,s^\prime_m} \psi(s^\prime_1,\dots, s^\prime_m)}$$

$Z = \sum_{s^\prime_1,\dots,s^\prime_m} \psi(s^\prime_1,\dots, s^\prime_m)$ 为归一化因子。

同 HMM 类似，CRF 也涉及三类基本问题：评估（计算某一序列的似然值）、解码（给定输入，寻找似然最大的序列）及训练（根据数据估计 CRF 的参数），解决这三个问题也都涉及前向算法、后向算法及 Viterbi 算法。

CRF 的势函数类似于概率，只不过没有归一化，因此这里介绍的 CRF 前向算法、Viterbi 算法、后向算法，同 HMM 基本一致。

2.2 前向算法

定义：

$$\alpha(i, s) = \sum_{s_1,\dots,s_{i-1}} \psi(s_1,\dots,s_{i-1}, s)$$

表示，以 $s$ 结尾的长度为 $i$ 的子序列的势。

显然，$\alpha(1, s) = \psi(*, s_1, 1)$

根据定义，我们有如下递归关系：

$$\alpha(i, s) = \sum_{s^\prime \in S} \alpha(i-1, s^\prime) \times \psi(s^\prime, s, i)$$

归一化因子可以计算如下：

$$Z = \sum_{s_1,\dots,s_m} \psi(s_1,\dots s_m) = \sum_{s\in S}\sum_{s_1,\dots,s_{m-1}} \psi(s_1,\dots s_{m-1}, s)= \sum_{s\in S} \alpha(m, s)$$

对于给定的序列 $(s_1,\cdots,s_m)$，其中条件概率（似然）可以计算：

$$p(s_1,\dots,s_m|x_1,\dots, x_m) = \frac{\prod_{i=1}^m\psi (s_{i−1}, s_i , i)}{\sum_{s\in S} \alpha(m, s)}$$

* 通过前向算法，我们解决了评估问题，计算和空间复杂度为 O(m⋅|S