实体-关系联合抽取：Incorporating Copying Mechanism in Sequence-to-Sequence Learning

文章标题：https://www.aclweb.org/anthology/P16-1154.pdf

文章题目：Incorporating Copying Mechanism in Sequence-to-Sequence Learning（将复制机制整合到序列到序列的学习中）ACL2016

写在前面：这篇文章基于Seq2Seq网络提出了“复制机制”，主要针对文本摘要任务，但是在实体-关系联合抽取任务中，对于实体重叠问题，可以采取此方法来对重叠的实体进行复制，此方法对于解决实体-关系联合抽取任务中的实体重叠问题提供了信思路。

Abstract

我们解决了一个重要的问题，在序列到序列(Seq2Seq)学习中被称为复制，其中输入序列中的某些片段被选择性地复制到输出序列中。在人类语言交际中也存在类似的现象。例如，人类倾向于在谈话中重复实体名称甚至是长短语。Seq2Seq中关于复制的挑战是需要新的机器来决定何时执行操作。在本文中，我们将复制引入基于神经网络的Seq2Seq学习中，提出了一种新的具有编码器和解码器结构的COPYNET模型。COPYNET可以很好地将解码器中常规的单词生成方式与新的复制机制集成在一起，这种复制机制可以选择输入序列中的子序列，并将它们放在输出序列中的适当位置。我们对合成数据集和真实世界数据集的实证研究证明了COPYNET的有效性。例如，在文本摘要任务上，COPYNET可以比基于RNN的常规模型有显著的优势。

一、Introduction

最近，基于神经网络的序列到序列学习(Seq2Seq)在各种自然语言处理(NLP)任务中取得了显著的成功，包括但不限于机器翻译(Cho等，2014;Bahdanau et al.， 2014)，句法分析(Vinyals et al.， 2015)，文本摘要(Rush et al.， 2015)和对话系统(Vinyals and Le, 2015)。Seq2Seq本质上是一个编码器-解码器模型，在这个模型中，编码器首先将输入序列转换为特定的表示，然后再将该表示转换为输出序列。在Seq2Seq中加入注意力机制(Bahdanau et al.， 2014)，这是机器翻译中首次提出的自动对齐机制，它显著提高了各种任务的性能(Shang et al.， 2015;Rush等人，2015)。与规范的encoder-decoder架构不同，基于注意力的Seq2Seq模型以其原始形式(单词表示的数组)对输入序列进行了修正，并动态地获取相关的信息片段，而这些信息大部分是基于输出序列生成的反馈。

在这篇论文中，我们探讨了另一种对人类语言交流很重要的机制，称为 “复制机制”。基本上，它指的是定位输入语句的某个片段并将该片段放入输出序列的机制。例如，在下面的两个对话中，我们观察到不同的模式，其中响应®中的一些子序列(蓝色)是从输入语句(I)中复制出来的：