昇思25天打卡训练营第24天|LSTM+CRF序列标注

1.概述
序列标注指对给定序列中每个Token进行标注标签的过程，通常用于从文本中进行信息抽取，包括

分词(Word Segmentation)、词性标注(Position Tagging)、命名实体识别(Named Entity

Recognition, NER)等。以命名实体识别为例：

输入序列    清    华    大    学    座    落    于    首    都    北    京
输出标注    B    I    I    I    O    O    O    O    O    B    I

如上表所示，清华大学 和 北京是地名，需要将其识别，需对每个输入的单词预测其标签，最后根

据标签来识别实体。命名实体识别的标注方法——“BIOE”标注，将一个实体(Entity)的开头标注为

B，其他部分标注为I，非实体标注为O。

2.条件随机场(Conditional Random Field, CRF)

1）基础知识

对序列进行标注，实际上是对序列中每个Token进行标签预测，可以直接视作简单的多分类问题。

但序列标注不仅对单个Token进行分类预测，同时相邻Token直接有关联关系。以清华大学为例:

输入序列    清    华    大    学    

输出标注    B    I    I    I    √

输出标注    O    I    I    I    ×

如上表所示，正确的实体中包含的4个Token有依赖关系，I前必须是B或I，而错误输出结果将清字

标注为O，违背了这一依赖。将命名实体识别视为多分类问题，则每个词的预测概率都是独立的，

易产生类似的问题，因此需要引入一种能够学习到此种关联关系的算法来保证预测结果的正确性。

而条件随机场是适合此类场景的一种概率图模型。对条件随机场的定义和参数化形式进行简析。

考虑到序列标注问题的线性序列特点，本节所述的条件随机场特指线性链条件随机场(Linear Chain

CRF)。设 𝑥={𝑥0,...,𝑥𝑛}为输入序列， 𝑦={𝑦0,...,𝑦𝑛}，𝑦∈𝑌为输出的标注序列，其中 𝑛为序列的最大

长度， 𝑌表示 𝑥对应的所有可能的输出序列集合。则输出序列 𝑦的概率为：

设 𝑥𝑖,  𝑦𝑖为序列的第 𝑖个Token和对应的标签，则 Score需要能够在计算 𝑥𝑖 和 𝑦𝑖的映射的同时，捕

获相邻标签 𝑦𝑖−1和 𝑦𝑖之间的关系，因此我们定义两个概率函数：

发射概率函数 𝜓EMIT：表示 𝑥𝑖→𝑦𝑖的概率

转移概率函数 𝜓TRANS：表示 𝑦𝑖−1→𝑦𝑖 的概率

则可以得到 Score的计算公式：

设标签集合为 𝑇，构造大小为 |𝑇|𝑥|𝑇|的矩阵 𝐏，用于存储标签间的转移概率；由编码层(可以为

Dense、LSTM等)输出的隐状态 ℎ可以直接视作发射概率，此时 Score的计算公式可以转化为：

完整的CRF完整推导可参考Log-Linear Models, MEMMs, and CRFs

http://www.cs.columbia.edu/~mcollins/crf.pdf

再根据上述公式，使用MindSpore来实现CRF的参数化形式。

实现CRF层的前向训练部分，将CRF和损失函数做合并，选择分类问题常用的负对数似然函数

(Negative Log Likelihood, NLL)，则有：

由公式 (1) 可得，

根据公式 (5)，我们称被减数为Normalizer，减数为Score，分别实现后相减得到最终Loss。

2）Score计算

首先根据公式 (3)计算正确标签序列所对应的得分，这里需要注意，除了转移概率矩阵 𝐏外，还需

要维护两个大小为 |𝑇|的向量，分别作为序列开始和结束时的转移概率。同时我们引入了一个掩码

矩阵 𝑚𝑎𝑠𝑘，将多个序列打包为一个Batch时填充的值忽略，使得 Score计算仅包含有效的Token。

3）Normalizer计算

根据公式 (5)，Normalizer是 𝑥对应的所有可能的输出序列的Score的对数指数和(Log-Sum-Exp)。

此时如果按穷举法进行计算，则需要将每个可能的输出序列Score都计算一遍，共有 |𝑇|𝑛个结果。

这里我们采用动态规划算法，通过复用计算结果来提高效率。

假设需要计算从第 0至第 𝑖个Token所有可能的输出序列得分 Score𝑖 ，则可以先计算出从第 0至第

𝑖−1个Token所有可能的输出序列得分 Score𝑖−1。因此，Normalizer可以改写为以下形式：

其中 ℎ𝑖为第 𝑖个Token的发射概率， 𝐏是转移矩阵。由于发射概率矩阵 ℎ和转移概率矩阵 𝐏独立于 𝑦

的序列路径计算，可以将其提出，可得：

根据公式(7)，Normalizer的实现如下：

4） Viterbi算法

在完成前向训练部分后，需要实现解码部分。这里我们选择适合求解序列最优路径的Viterbi算法。与计算Normalizer类似，使用动态规划求解所有可能的预测序列得分。不同的是在解码时同时需要将第 𝑖个Token对应的score取值最大的标签保存，供后续使用Viterbi算法求解最优预测序列使用。

取得最大概率得分 Score，以及每个Token对应的标签历史 History后，根据Viterbi算法可以得到公式：

从第0个至第 𝑖个Token对应概率最大的序列，只需要考虑从第0个至第 𝑖−1个Token对应概率最大的序列，以及从第 𝑖个至第 𝑖−1个概率最大的标签即可。因此我们逆序求解每一个概率最大的标签，构成最佳的预测序列。

由于静态图语法限制，我们将Viterbi算法求解最佳预测序列的部分作为后处理函数，不纳入后续CRF层的实现。

5）CRF层

完成上述前向训练和解码部分的代码后，将其组装完整的CRF层。考虑到输入序列可能存在

Padding的情况，CRF的输入需要考虑输入序列的真实长度，因此除发射矩阵和标签外，加入

seq_length参数传入序列Padding前的长度，并实现生成mask矩阵的sequence_mask方法。

综合上述代码，使用nn.Cell进行封装，最后实现完整的CRF层如下：

3.BiLSTM+CRF模型

在实现CRF后，我们设计一个双向LSTM+CRF的模型来进行命名实体识别任务的训练。模型结构

如下：

nn.Embedding -> nn.LSTM -> nn.Dense -> CRF

其中LSTM提取序列特征，经过Dense层变换获得发射概率矩阵，最后送入CRF层。具体实现如下：

完成模型设计后，我们生成两句例子和对应的标签，并构造词表和标签表。

 接下来实例化模型，选择优化器并将模型和优化器送入Wrapper。

由于CRF层已经进行了NLLLoss的计算，因此不需要再设置Loss。

将生成的数据打包成Batch，按照序列最大长度，对长度不足的序列进行填充，分别返回输入序

列、输出标签和序列长度构成的Tensor。
 

对模型进行预编译后，训练500个step。

训练流程可视化依赖tqdm库，可使用pip install tqdm命令安装。

最后我们来观察训练500个step后的模型效果，首先使用模型预测可能的路径得分以及候选序列。

使用后处理函数进行预测得分的后处理。

最后将预测的index序列转换为标签序列，打印输出结果，查看效果。