总结
这篇文章的思想,可以参考:EMNLP-21-TEBNER: Domain Specific Named Entity Recognition with Type Expanded Boundary-aware Network。或许两篇文章一起读,效果较佳。
模型组成
- 我们设计了一个基于多头自注意力机制 (Vaswani et al., 2017) 和双仿射分类器 (Dozat and Manning,
2016) 的头尾检测器来检测显式边界标记 - Focal Loss (Lin et al., 2017) 用于解决类不平衡问题
- 通过集成头尾检测器和令牌交互标记器,我们应用区域分类器来预测实体类别。
如果与检测到的头尾对 (bi , bj ) 对应的所有令牌间隙都被标记为内部连接 (I),则对该region对应的representation做分类计算。
b的计算:cat多个注意力的头,做矩阵变换得到。
region 分类
loss函数
包括了boundary分类的损失(L_ht和L_IO)和type classification部分(L_region)的损失。