ACL2021 | 一种巧妙解决NER覆盖和不连续问题的方法

每天给你送来NLP技术干货！

---

论文：A Span-Based Model for Joint Overlapped and Discontinuous Named Entity Recognition

链接：https://aclanthology.org/2021.acl-long.372.pdf

代码：https://github.com/foxlf823/sodner

提取摘要

由于普通的NER问题被研究的透透的了，本文主要解决一种稍微复杂些问题：一种带有覆盖和不连续（Overlapped and Discontinuous）的命名实体识别任务。

而在这两者研究上来说，前人只是要么解决覆盖问题，要么解决不连续问题，但是本文提出一种联合解决这两种问题的span-based方法。

span-based方法昨天也提到过了，所以关于实体+关系抽取的任务都可以尝试。

本文通过两个步骤构建模型：

1.  通过列举所有可能的text span来识别出实体片段（entity fragments）；
   

2. 在这些entity fragments上预测是两种关系overlapping or succession。

这样，我们不仅可以识别Discontinuous的实体，同时也可以对Overlapped的实体进行双重检查。

通过上述方法轻松将NER装换成RE（Relation Extraction）任务。最终实验在很多数据集上比如CLEF, GENIA and ACE05上展现除了很强劲的性能。

和往常的BIO标注的序列标注问题对比：

具体解读

该模型的步骤为

1. input一方面通过pre-train模型获取word rep，一方面通过dependency parsing获取句法信息；

2. GCN集合LSTM的输出和句法输入，得到syntax-enhanced的新的表达；

3. 获取所有span表示；

4. 通过两个MLP预测span是否为实体，以及实体时间是否有关系；

5. 最后每个loss加上权重，为最终优化目标。

关键分类

AGGCN用来融入句法信息

attention-guided GCN (AGGCN)比普通GCN要强一些，所以这里选用该方法。传统的GCN：

而AGGCN就是使用self-attention，替换以前的邻接矩阵A，最后通过线性方法将multi head生成的结果合一：

Span的表示

解码

先预测实体片段，再预测关系。

解码公式

损失计算

实验

实验数据介绍

在数据上的表现

在其他数据上与前人的对比，虽然性能不如SOTA，但是这种Span-based方式和SOTA差不了多少，是个新颖的想法。

---

投稿或交流学习，备注：昵称-学校（公司）-方向，进入DL&NLP交流群。

方向有很多：机器学习、深度学习，python，情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

记得备注呦

整理不易，还望给个在看！