Graph Convolution over Pruned Dependency Trees Improves Relation Extraction 论文研读

摘要

依存树可以帮助关系抽取模型捕捉单词之间的长距离关系。然而，现有的依赖关系模型要么过于积极地修剪依存树而导致忽略一些关键信息（例如否定关系），要么就很难在不同的树结构上并行计算而导致计算效率很低。我们提出了一种为关系抽取定制的扩展的图卷积网络，它可以有效地并行汇集任意依赖结构上的信息。为了在最大限度地移除不相关内容的同时合并相关信息，我们进一步对输入树应用了一种新的剪枝策略，将单词直接保存在两个实体之间的最短路径周围，在这两个实体之间可能存在关系。所得到的模型在大规模TACRED数据集上实现了最先进的性能，优于现有的基于序列和依赖的神经模型。我们还通过详细的分析表明，该模型与序列模型具有互补的优势，并将它们结合起来进一步提高了技术水平。

1.引言

关系抽取涉及识别句子中两个实体之间是否存在关系(通常分别称为主语和宾语)。成功的关系抽取是需要对大规模非结构化文本进行关系理解的应用的基石，例如问答(Y u等人，2017)、知识库群体(张等人，2017)和生物医学知识发现(Quirk和Poon，2017)。利用输入句子的依赖分析的模型，或基于依赖的模型，已被证明在关系抽取中非常有效，因为它们捕获了仅从表面形式看不清楚的长期句法关系(例如，当存在长子句或复杂范围时)。传统的基于特征的模型能够通过将依赖树特征化为沿着树的重叠路径来表示依赖信息(Kambhatla，2004)。然而，这些模型面临特征空间稀疏的挑战，并且容易受到词汇变化的影响。更近的神经模型解决了这个问题，它们的分布式表示是从沿着解析树形成的计算图中构建的。利用依赖信息的一种常见方法是沿着实体的最低共同祖先(LCA)下方的解析树或子树执行自下而上或自上而下的计算(Miwa和Bansal，2016)。另一种流行的方法，受布内斯库和穆尼(2005)的启发，是将解析树简化为实体之间的最短依赖路径(徐等人，2015a，b)。
然而，这些模型受几个影响。直接在解析树上运行的神经模型通常很难并行化，因此计算效率很低，因为为了高效的批处理训练而对齐树通常并不重要。基于主体和对象之间最短依赖路径的模型在计算上更有效，但是这种简化的假设也有很大的局限性。图1显示了一个真实世界的例子，当模型被限制为只考虑依赖路径时，关键信息(即否定)将被排除。
在这项工作中，我们提出了一个图形卷积网络的新的扩展(Kipf和Welling，2017；Marcheggiani和Titov，2017)，这是为提取关系而定制的。我们的模型使用高效的图形卷积运算对输入句子的依赖结构进行编码，然后提取以实体为中心的表示来进行稳健的关系预测。我们还应用了一种新的以路径为中心的剪枝技术，在最大限度地保留相关内容的同时，从树中移除不相关的信息，这进一步提高了包括我们的模型在内的几个基于依赖的模型的性能。
概括地说，我们的主要贡献是:
(1)我们提出了一个基于图卷积网络的关系抽