【论文阅读笔记|AAAI2022】Unified Named Entity Recognition as Word-Word Relation Classification

Rose sait

已于 2023-04-09 16:14:56 修改

阅读量1.2k

点赞数 2

文章标签：论文阅读深度学习人工智能

于 2023-03-13 21:30:59 首次发布

本文链接：https://blog.csdn.net/weixin_46025824/article/details/129255447

版权

本文提出了一种新的统一命名实体识别（NER）方法，将任务建模为词-词关系分类，解决了统一NER的核心问题。通过建模Next-Neighboring-Word和Tail-Head-Word-*关系，模型能有效处理flat、重叠和不连续的实体。方法包括BERT-BiLSTM编码器、多粒度二维卷积和协同预测器，实现在14个基准数据集上的最优性能。

摘要由CSDN通过智能技术生成

论文题目：Unifified Named Entity Recognition as Word-Word Relation Classifification

论文来源：AAAI2022

论文链接：AAAI Press Formatting Instructions for Authors Using LaTeX -- A Guide (arxiv.org)

代码链接：https://github.com/ljynlp/W2NER

0 摘要

到目前为止，命名实体识别（NER）已经涉及到三种主要类型，包括平面(flat)、重叠(overlapped)(或嵌套(nested))和不连续(discontinuous)的NER，它们大多是单独研究的。最近，人们对统一NER的兴趣越来越大，即用一个单一模型同时处理上述三个工作。目前表现最好的方法主要是基于跨度和序列到序列的模型，但是，前者只关注边界识别，后者可能存在暴露偏差。

我们提出了一种新的替代方法，通过将统一的NER建模为词-词关系分类，即 $W^{2}NER$ 。

该体系结构通过有效地对实体词Next-Neighboring-Word（NNW）和Tail-Head-Word-* （THW-*）之间的关系进行建模，解决了统一NER的核心瓶颈。

在 $W^{2}NER$ 中，统一的NER被建模为一个词对的2D网格。

然后，我们提出了多粒度的二维卷积，以更好地重新细化网格表示。

最后，使用一个协同预测器来充分推理词-词关系。

我们对14个广泛使用的基准数据集、flat、重叠的和不连续的NER（8个英语和6个中文数据集）进行了广泛的实验，其中我们的模型超过了目前所有性能最好的基线，推动了统一NER的最新性能。

1 引言

命名实体识别（NER）长期以来一直是自然语言处理（NLP）的一项基本任务，因为其广泛的基于知识的应用，如关系抽取（Wei等，2020；李等，2021b），实体链接（Le和Titov 2018；侯等，2020）等。NER的研究最初从flat NER (Lample等2016年；斯特鲁贝尔等2017年）到后来的overlapped NER (Yu等2020年；Shen等2021年），最近到discontinuous NER（Dai等2020年；李等2021a）。

flat NER只是从文本中检测出提及的跨度及其语义类别

重叠的实体包含相同的token

不连续的实体包含不相邻的span

图1： (a)显示三种类型NER的示例。e1是一个flat实体，e1在“aching in”跨度上与不连续实体e2重叠。(b)我们将三个NER的子任务看为词与词的关系分类，Next-Neighboring-Word (NNW)关系表示一个词对连续联合的实体（例如，aching→in），Tail-Head-Word-* (THW-*) 关系意味着的实体的尾词连接头词（例如，legs→aching）作为一个实体“*”类型（例如，Symptom）。

以往的多类型NER方法大致可以分为四类： 1)序列标注，2)基于超图(hypergraph)的方法，3)序列到序列的方法，4)基于跨度(span)的方法。

大多数初始工作将NER形式化为序列标注问题(Lample等人2016年；郑等人2019年；唐等人2018年；斯特拉科夫等人2019年），为每个token分配一个tag。然而，很难为所有的NER子任务设计一种标记方案。
然后提出了基于超图的模型（Lu和Roth 2015；Wang和Lu 2018；Katiyar和Cardie 2018）来表示所有实体跨度，但这些实体在推理过程中存在虚假结构和结构模糊的问题。
最近，Yan等人（2021）提出了一个序列到序列（Seq2Seq）模型来直接生成各种实体，不幸的是，这可能会遭受解码效率问题和Seq2Seq架构的某些常见缺陷，例如，暴露偏差。
基于跨度的方法（Luan等人，2019年；Li等人，2021年a）是另一种用于统一NER的先进方法（SoTA），列举了所有可能的跨度并进行跨度级分类。然而，基于跨度的模型可以受到最大跨度长度的影响，并由于枚举的性质而导致相当大的模型复杂性。因此，设计一个有效的统一NER系统仍然具有挑战性。

现有的工作主要集中在如何准确识别实体边界，即NER的核心问题是flat问题。然而，在仔细考虑这三种类型NER的共同特征后，我们发现统一NER的瓶颈在于实体词之间相邻关系的建模。这种邻接相关性本质上描述了部分文本段之间的语义连通性，特别是重叠和不连续段的关键作用。如图1(a)所示，我们可以毫不费力地检测到“aching in legs”，因为它的组成词都是自然相邻的。但是，要检测出“aching in shoulders”的不连续实体，有效地捕捉“aching in”和“shoulders”的相邻节段之间的语义关系是必不可少的。

在此基础上，本文研究了一种新的词与词关系分类结构的统一NER形式，即 $W^{2}NER$ 。该方法通过有效地对实体边界识别和实体词之间的相邻关系进行建模来解决统一的NER问题。具体来说， $W^{2}NER$ 对两种类型的关系进行了预测，包括Next-Neighboring-Word (NNW)和the Tail-Head-Word-* (THW-