Dependency-driven Relation Extractionwith Attentive Graph Convolutional Networks

 Abstract

        句法信息和依赖树在已有的研究中已经广泛用于改进关系抽取，并能更好地指导分析与给定实体相关的上下文信息。 然而，现有的研究依赖树中大多存在噪声，特别是当依赖树自动生成时，其过度利用依赖信息可能会给关系分类带来混乱，必要的剪枝在此任务中非常重要。 本文提出了一种依赖驱动的注意力图卷积网络关系抽取方法（A-GCN）。 在这种方法中，图卷积网络上的注意力机制应用于从现成的依赖解析器获得的依赖树中的不同上下文词，以区分不同词依赖的重要性。考虑到单词之间的依赖类型也包含重要的上下文指导，这可能有助于关系提取。

目录

1.Introduction

2.The Proposed Approach   

3.Experimental Settings

4.Results

5.Analyses

6.Conclusion

1.Introduction

        关系提取 (RE) 旨在从原始文本中检测实体及其之间的关系的一种技术，是信息提取和检索中最重要的任务之一，在支持许多下游自然语言处理 (NLP) 应用程序中起着至关重要的作用，例如文本挖掘、情感分析、问答等方面。最近，神经网络模型 RE 方法使用强大的编码器（如 CNN、RNN 和 Transformers）显着提高了 RE 的模型性能，因此使 得RE 系统能够更好地理解文本并识别给定文本中实体之间的关系。采用神经网络模型来帮助 RE 不仅简单有效，而且还有望将更多样化和信息丰富的知识纳入 RE 系统。在所有不同的知识中，句法信息，尤其是依赖树，已在许多研究中被证明是有益的因为它们提供了目标实体之间的长距离词连接，从而引导系统更好地提取实体对之间的关​​系。

        然而，频繁的利用依赖信息并不总能带来良好的 RE 性能，因为依赖树中的噪声可能会给关系分类带来混淆，尤其是当依赖树是自动生成时。例如，下图中显示了一个带有依赖树的例句，其中当对象要预测“牛奶”和“南瓜混合物”之间的关系时，“南瓜混合物”和“碗”之间的依赖关系可能会引入噪声。因此，之前的研究在通过特定模型或图卷积网络对依赖信息进行编码之前，总是需要必要的剪枝策略。因为固定剪枝策略不能保证生成包含所有重要上下文信息并过滤掉所有噪声的子树，所以有必要设计一种适当的方法来区分依赖树中的噪声并相应地对其进行建模。

         由此，本文提出了一种依赖驱动的神经方法，其中提出了注意力图神经网络 (A-GCN) 来区分该任务的重要上下文信息。此外，鉴于与依赖连接相关联的依赖类型（例如，名义主题）也可能对 RE 模型有用，因为它们包含连接词之间的句法指令，我们通过将类型信息引入其中来进一步改进 A-GCN。具体来说，我们首先从现成的工具包中获取输入句子的依存关系树，然后在依存关系树上构建图，并为任意两个单词之间的不同标记依存关系分配不同的权重，权重的计算基于连接及其依赖类型，最后由 AGCN 根据学习的权重预测关系。这样做，A-GCN 不仅能够从依赖树中区分重要的上下文信息并相应地利用它们，从而不需要依赖剪枝策略，而且 A-GCN 还可以利用大多数先前忽略的依赖类型信息研究。

2.The Proposed Approach   

        模型的整体架构如下图所示。具体来说，给定一个非结构化输入语句 X = x1,···,xn，其中有n个单词并让 E1 和 E2 表示 X 中的两个实体，我们的方法通过以下方式预测 E1 和 E2 之间的关系 

   

        其中Tx是从现成的工具包中获得的x的依赖树，R是关系类型集； P计算给定两个实体的特定关系的概率，而是以X和Tx为输入的A-GCN的输出。 

         通常，标准 GCN 模型中的图是由词依赖构建的，并由邻接矩阵 A =表示，其中