1. 论文研读笔记
1.1 研究动机
本周研读的论文是Chinese NER Using Lattice LSTM, 这篇文章发表于ACL 2018,应该是预训练模型大行其道之前,命名实体识别的STOA。本文的核心思想是在基于字的LSTM+crf的经典模型的基础上,将词的信息也编码进去,利用大量自动分词的语料来加强对于命名实体边界的认识。
1.2 研究方法
lattic的基本结构依然是基于字的LSTM+CRF的结构,但是在此基础上添加了词信息。模型采用大规模自动分词的词典,再通过Cell的结构的修改,将句子中的词信息加入模型中,其结构如下:
从结构上看,lattice其实比起传统的lstm就是增加了一个红色的cell. 传统lstm可以表达为
每个词汇的红色 Cell 类似 LSTM Cell 且相互独立。因为序列标记是以字符为级别,所以这个 Cell 中没有输出门,Cell State 即为词汇信息。其中,矩阵中的 X 和 h 分别表示词向量和词首字符 Cell 的输出:
类似lstm的门控,lattice也给出额外的门控单元(Additional Gate),它根据当前字符和词汇信息来计算词汇信息权重,如下图公式所示。其中,矩阵中的 X 和 c 分别代表当前字符的字符向量和当前词汇的 Cell State。
这样当前字符的 Cell State 就可以算出来了:
其中归一化参数的计算方式为:
1.3 实验结果
论文分别从onenote, msra, 微博和简历,4个数据集来验证,可以看出lattice在有效利用词的信息后,确实有显著提高,基本是当时的STOA
1.4 个人点评
这篇文章的思路其实很清晰,基于字和词其实都各有优缺点,对于中文处理,充分利用字和词的符合信息,即使在后面基于bert的模型也可以借鉴和迁移 。最近因为工作实在繁忙,匆忙读完一遍论文,还没有复现,但是据组内之前调研过这篇文章的同事反映,lattice的收敛速度较慢,这一点有待后续验证。