rnn词性标注算法_【NLP】一文完全搞懂序列标注算法

来源 | 机器学习算法那些事

作者 | 石头

序列标注模型用到了长短期记忆网络(LSTM)，条件随机场(CRF)，Highway网络，本文循序渐进的介绍了序列标注算法，Be patience ! 跟着小编的文章完全搞懂序列标注算法吧。

1.目标

序列标注模型的目标是用实体或词性标记句子的每个单词，如下图：

其中PER标记的是人名，LOC标记的是位置，ORG标记的是组织。

算法原理来自论文Empower Sequence Labeling with Task-Aware Neural Language Model，论文所述的序列标注模型算法比大部分算法都要高级，文章将要介绍很多常用的理论，不仅仅应用在序列标注领域，该模型的一个特点是并行训练了语言模型，增强了序列标注的任务。

为了更好的理解序列标注模型，首先介绍几个概念：

2.需要理解的几个概念

• 序列标注：标注句子中每个单词的实体或词性
• 语言模型：语言模型是预测单词或字符序列中的下一个单词或字符，神经语言模型在文本生成、机器翻译、图像理解、光学字符识别等各种NLP任务中取得了令人印象深刻的结果。
• 字符RNN：对文本中的单个字符进行RNN转换，在序列标注任务中，字符可以为单词的实体或属性提供重要线索，如形容词通常以”-y”或”-ul”结尾，位置通常以”-land”或”burg”结尾，因此编码句子中的字符信息是很有必要的。
• 多任务学习(Multi-Task Learning)：模型训练过程中包含了语言模型，语言模型为序列标注模型提供了额外的有用信息，即改善了序列标注模型。
• 条件随机场(Conditional Random Fields)：离散分类器根据某个单词预测其标注，条件随机场是根据该单词附近的单词标注来预测其标注，这是符合理论的，因为单词的标注不仅仅取决于当前的单词，还取决于该单词相邻的单词属性。
• 维特比解码(Viterbi Decoding)：我们使用了CRF输出每个单词的标记转移矩阵，然后通过维特比解码输出最优的标记序列。
• Highway Networks(Highway网络)：全连接层在任何神经网络结构中转换或提取不同位置特征的主要成分，如图像分类中，全连接层输出用于分类图像的特征，语言模型中，全连接层输出每一个类的概率。

3.算法模型框架

算法模型框架即LM-LSTM-CRF，LM-LSTM-CRF包含了三个模型：语言模型(LM)，长短期记忆网络(LSTM)，条件随机场(CRF)。语言模型的训练并行在长短期记忆网络和条件随机场组成的序列标记模型，组成多任务训练模型。

模型框架如下图：

上图右边的红色方框所