实体-关系联合抽取：Extracting Relational Facts by an End-to-End Neural Model with Copy Mechanism

论文地址：https://www.aclweb.org/anthology/P18-1047.pdf

通讯作者主页：http://people.ucas.ac.cn/~zhaojun

论文出处：中国科学院大学

代码地址：https://github.com/xiangrongzeng/copy_re

文章标题：Extracting Relational Facts by an End-to-End Neural Model with Copy Mechanism（基于复制机制的端到端神经模型提取关联事实）ACL2018

Abstract

句子中的关系事实往往比较复杂。不同的关系三连词在一个句子中可能有重叠。根据句子的三重重叠程度，我们将句子分为三种类型，即正常重叠、完全重叠和单一性重叠。现有的方法主要集中在普通类上，不能准确提取关系三元组。在本文中，我们提出了一种基于复制机制的端到端学习模型，该模型可以从任意一个类的句子中联合提取相关事实。在译码过程中，我们采用了两种不同的译码策略：一种是采用一个联合译码器，另一种是采用多个独立译码器。我们在两个公共数据集中测试了我们的模型，我们的模型明显优于基线方法。

一、Introduction

近年来，为了构建大型结构知识库，人们在从自然语言文本中提取关系事实方面做了大量工作。关系事实通常表示为由两个实体(一个实体对)和它们之间的语义关系组成的三元组，例如< Chicago,country,US>。

到目前为止，大多数的方法主要集中在关系提取或分类的任务，识别两个预先分配的实体之间的语义关系。虽然取得了很大的进展(Hendrickx等，2010;曾等，2014;Xu et al.， 2015a,b)，他们都假设实体是预先识别的，而忽略了实体的提取。实体和关系的提取，早期的著作(Zelenko et al.， 2003;Chan和Roth(2011)采用了流水线方式，首先进行实体识别，然后预测提取实体之间的关系。然而，流水线框架忽略了实体识别和关系预测的相关性(Li和Ji, 2014)。最近的研究试图联合提取实体和关系。于和林(2010);Li and Ji (2014);Miwa和Sasaki(2014)设计了几个复杂的特性来构建这两个子任务之间的桥梁。与其他自然语言处理(NLP)任务类似，它们需要复杂的特征工程，并且严重依赖于已有的NLP工具进行特征提取。

近年来，随着深度学习在许多NLP任务上的成功，它也被应用于相关事实的提取。曾等(2014);Xu等(2015a,b)使用CNN或RNN进行关系分类。Miwa和Bansal (2016);Gupta等人(2016);Zhang等人(2017)将关系提取任务视为端到端的(end2end)表格填充问题。Zheng等(2017)提出了一种新的标记模式，并采用基于递归神经网络(RNN)的序列标记模型来联合提取实体和关系。

图一：正常重叠、完全重叠、单一重叠的例子。重叠的实体被标注为黄色。

然而，句子中的关系事实往往是复杂的。不同的关系三连词在一个句子中可能有重叠。这种现象使得上述方法，无论是基于深度学习的模型还是基于传统特征工程的联合模型，都无法准确提取出相关的三元组。一般情况下，根据我们的观察，我们将句子按照三重重叠程度分为三种类型，分别是Normal, EntityPairOverlap (EPO)和SingleEntityOverlap (SEO)。如图1所示，如果一个句子的三元组都没有重叠的实体，那么它就属于普通类。如果它的一些三元组有重叠的实体对，那么这个句子属于EntityPairOverlap类。如果一个句子的某些三元组有重叠的实体而这些三元组没有重叠的实体对，那么这个句子就属于单列重叠类。在我们的知识中，以往的方法大多集中于一般类型，很少考虑其他类型。即使是基于神经网络的联合模型(Zheng et al.， 2017)，它也只给一个单词分配一个标签，这意味着一个单词最多只能参与一个三元组。因此，三重重叠的问题实际上并没有得到解决。

为了解决上述挑战，我们的目标是设计一个模型，该模型可以从正常的、EntityPairOverlap和SingleEntityOverlap类的语句中提取三联体，包括实体和关系。为了处理三重重叠的问题，必须允许一个实体自由地参与多个三重。与以往的神经方法不同，我们提出了一种基于复制机制的序列-序列学习的end2end模型，该模型可以联合提取任意一个类的句子中的相关事实。该模型的主要组成部分包括