序列标注_论文解读之序列标注（一）

本篇论文比较新，来自于EMNLP 2019的一篇关于序列标注任务的论文：《Hierarchically-Refined Label Attention Network for Sequence Labeling》

引言

作者认为，在序列标注任务上，BiLSTM-CRF并不总是比BiLSTM-softmax效果好。这是因为CRF并不比一个强大的神经编码能获得更多的信息。一个可能的原因是，BiLSTM可以从文本序列本身去捕获潜在的长距离的标签依赖关系。相比之下，CRF通过直接学习输出标签的依赖关系，导致其受限于马尔可夫假设。此外，当预测标签数量比较大的时候，由于维特比解法，CRF的计算也更加耗时。

本文提出了一个称为hierarchically-refined representation的模型，如图：

本文模型的基础结构就是上图（真正用的时候是该结构的多层叠加），本质上就是两个BiLSTM。第一层lstm比较常规，没什么新的东西，就是本文的特征提取用。主要是在第二层，第二层的输入包含两方面的信息，一个是上一层的输出（hidden states），另外一个来自于label的信息（实际上是label embedding与hidden states做了一次attention之后的结果），两类信息的结合方式就是concat起来。这样除了文本特征外，