Chinese NER Using Lattice LSTM 论文解读
2020.3.19日,本人觉得学习的一些东西后,写点东西可以帮助我进行记忆,同时也为了后续复习使 用,以后每周至少分享一篇论文。
背景
传统的lstm网络可以用来实现ner,论文同时指出基于字(charactor)好于基于词(word)的词向量。但是词向量可以充分考虑上下文之间的关系,也就是说字的lstm+crf模型有一个局限,即没有充分利用word和word的序列信息,如何充分利用这些信息,是这篇paper的核心。
预备知识
1.lstm网络
数学表示:
参考:[lhttps://blog.csdn.net/m0epNwstYk4/article/details/79124800?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task]
rnn因为自身结构,当时间序列越来越长会出现梯度爆照和梯度消失问题。lstm提出了一个长期状态变量c去控制时间序列,通过c和控制c的开关去连接输入、输出和上一轮的输入,帮助解决梯度消失问题
模型
1.结构
2.数学表达
整个实现相对传统的lstm,其实是多加了一种长期状态c,而这个c来自于当前字和在字典中开始字的信息,当然也和上一层的隐层有关系,然后就构造了一个类似之前c的一个新形式,这就是式13,没有输出门,因为这里不会影响到输出,只和输入有关。然后将新加的c想办法灌入到原始的c中,新加的c应该和原始的c形式类似,这就形成了式15,但是又少了遗忘门的信息,这是为什么呢?
3.实现
todo
4.疑问
公式15相对一般的cell计算方式少了遗忘门和c-1状态乘?也就是丢失了遗忘门对c的影响?
计算词汇信息时用到了主干 Cell State,因此计算当前字符的 Cell State 时通过门控单元来取舍词汇信息的过程,其实就是在对主干 Cell State 进行取舍,相当于隐含了一个遗忘门。
举例
回到例子就是在计算 桥时候 大桥、长江大桥的c已经运用过cell(大)和cell(长)的状态了,公式13 c的计算已经用过cb的遗忘门信息,再用冗余了。
总结
结合lstm,加入字典信息,让网络不但考虑字信息,还考虑词信息,在bert之前效果是杠杠的。