NLP-条件随机场

---

一、CRF介绍

条件随机场（conditional random field）是给定随机变量 X 条件下，随机变量Y 的马尔可夫随机场。这里主要介绍定义在线性链上的特殊的条件随机场，称为线性链条件随机场（linear chain conditional random field）。线性链条件随机场可以用于标注等问题。

举例： 给定观测序列 $X=$ {$x_1,x_2,...,x_n$}，以及隐状态序列 $Y=$ {$y_1,y_2,...,y_n$} 的情况下，构建条件概率模型 $P(Y|X)$ 。若随机变量 $Y$ 构成的是一个马尔科夫随机场，则 $P(Y|X)$ 为 CRF。

与HMM类似，CRF也关心如下三种问题：

1. 概率计算问题。
   已知条件随机场 $P(Y|X)$ ，给定观测序列 $X=$ {$x_1,x_2,...,x_n$}、标记序列 $Y=$ {$y_1,y_2,...,y_n$}，求条件概率。

2. 参数学习。
   CRF 实际上是定义在时序数据上的对数线性模型，其学习方法包括：极大似然估计、正则化的极大似然估计。 用改进的迭代尺度法Improved Iterative Scaling:IIS、 梯度下降法、拟牛顿法 求解。

3. 预测、解码问题。
   给定条件随机场 $P(Y|X)$ ，给定观测序列 $X=$ {$x_1,x_2,...,x_n$}，求条件概率最大的输出序列（标记序列）$Y=$ {$y_1,y_2,...,y_n$} , 用维特比算法求解。

二、线性链式条件随机场

两种常用的是线性链式条件随机场，结构如下图所示：

链式条件随机场主要包含两种关于标记变量的团：

1. 单个标记变量与 X 构成的团： {$y_i,X$}, $i=1,2,...,n$ 。
2. 相邻标记变量与X 构成的团： {$y_{i-1},y_i,X$}, $i=1,2,...,n$。

对于单个变量的团是满足马尔可夫性的：

与马尔可夫随机场定义联合概率的方式类似，条件随机场使用势函数和团来定义条件概率 $P(Y|X)$ :

其中： $t_k（y_i，y_{i-1}，X，i)$ 是定义在观测序列的两个相邻标记位置上的转移特征函数（transition feature function），用于刻画相邻标记变量之间的相关关系以及观测序列对它们的影响.

$s_l（y_i，X，i)$ 是定义在观测序列的标记位置 $i$ 上的状态特征函数（status feature function），用于刻画观测序列对标记变量的影响.

${\lambda }_k,u_l$ 为权重，模型训练得到。

$Z$ 为规范化因子（它用于确保上式满足概率的定义）。

$K_1$ 为转移特征函数的个数，$K_2$ 为状态特征函数的个数。

三、举例

解：