命名实体识别论文笔记：Chinese NER Using Lattice LSTM

1. 论文研读笔记

1.1 研究动机

本周研读的论文是Chinese NER Using Lattice LSTM, 这篇文章发表于ACL 2018，应该是预训练模型大行其道之前，命名实体识别的STOA。本文的核心思想是在基于字的LSTM+crf的经典模型的基础上，将词的信息也编码进去，利用大量自动分词的语料来加强对于命名实体边界的认识。

1.2 研究方法

lattic的基本结构依然是基于字的LSTM+CRF的结构，但是在此基础上添加了词信息。模型采用大规模自动分词的词典，再通过Cell的结构的修改，将句子中的词信息加入模型中，其结构如下：

从结构上看，lattice其实比起传统的lstm就是增加了一个红色的cell. 传统lstm可以表达为
每个词汇的红色 Cell 类似 LSTM Cell 且相互独立。因为序列标记是以字符为级别，所以这个 Cell 中没有输出门，Cell State 即为词汇信息。其中，矩阵中的 X 和 h 分别表示词向量和词首字符 Cell 的输出:

类似lstm的门控，lattice也给出额外的门控单元（Additional Gate），它根据当前字符和词汇信息来计算词汇信息权重，如下图公式所示。其中，矩阵中的 X 和 c 分别代表当前字符的字符向量和当前词汇的 Cell State。

这样当前字符的 Cell State 就可以算出来了：

其中归一化参数的计算方式为：

1.3 实验结果

论文分别从onenote, msra, 微博和简历，4个数据集来验证，可以看出lattice在有效利用词的信息后，确实有显著提高,基本是当时的STOA

1.4 个人点评

这篇文章的思路其实很清晰，基于字和词其实都各有优缺点，对于中文处理，充分利用字和词的符合信息，即使在后面基于bert的模型也可以借鉴和迁移 。最近因为工作实在繁忙，匆忙读完一遍论文，还没有复现，但是据组内之前调研过这篇文章的同事反映，lattice的收敛速度较慢，这一点有待后续验证。