EMNLP-20-HIT: Nested Named Entity Recognition via Head-Tail Pair and Token Interaction-NER的边界识别

总结

这篇文章的思想，可以参考：EMNLP-21-TEBNER: Domain Specific Named Entity Recognition with Type Expanded Boundary-aware Network。或许两篇文章一起读，效果较佳。

模型组成

1. 我们设计了一个基于多头自注意力机制 (Vaswani et al., 2017) 和双仿射分类器 (Dozat and Manning,
   2016) 的头尾检测器来检测显式边界标记
2. Focal Loss (Lin et al., 2017) 用于解决类不平衡问题
3. 通过集成头尾检测器和令牌交互标记器，我们应用区域分类器来预测实体类别。

如果与检测到的头尾对 (bi , bj ) 对应的所有令牌间隙都被标记为内部连接 ​​(I)，则对该region对应的representation做分类计算。

b的计算：cat多个注意力的头，做矩阵变换得到。

region 分类

loss函数

包括了boundary分类的损失（L_ht和L_IO）和type classification部分(L_region)的损失。