【笔记】Hierarchically-Refined Label Attention Network for Sequence Labeling

Hierarchically-Refined Label Attention Network for Sequence Labeling.

这篇文章对传统的序列标注模型（BiLSTM-CRF，BiLSTM-softmax）进行了更改，采用注意力机制来辅助reference，提高精确度和速度。

背景：
CRF属于Log-Linear模型范畴，参数估计时，前向传播和后向传播通常用维特比算法求解。时间复杂度偏高。

本文设计了一个LAN神经网层，如图所示，一共有2层，每层包含一个BiLSTM 的编码层 和一个 标签注意力inference 层。
编码层通过BiLSTM对文本进行编码。
inference层，计算标签同编码层输出的注意力权重，然后同编码层输出隐层拼接后，在作为输入进入到第二个LAN层。

相当于reference这里用BiLSTM同标签的注意力权重来做