EMNLP'21 | 基于互指导和句间关系图的论点对抽取

每天给你送来NLP技术干货！

---

来自： 哈工大深圳人类语言技术研究团队

题目：基于互指导和句间关系图的论点对抽取（Argument Pair Extraction with Mutual Guidance and Inter-sentence Relation Graph）

作者：鲍建竹、梁斌、孙婧伊、张义策、杨敏、徐睿峰

链接：https://aclanthology.org/2021.emnlp-main.319.pdf

论点对抽取任务

论点对抽取（Argument Pair Extraction，APE），是论辩挖掘领域的一个新任务，目的是从两篇相关的文章中抽取互动的论点对。

下图是一个APE的例子，来自Review-Rebuttal数据集，左边是论文的审稿意见，右边是作者的rebuttal。两篇文章在句子级别上被划分为论点和非论点。有颜色的为论点，没有颜色的为非论点。Review中的论点可以与rebuttal中的论点形成论点对，表示它们在讨论同一问题。在这个例子中，两个论点对分别用绿色和蓝色标注出。

论点对抽取是一项非常有挑战的任务，原因有两个：

• 不同于常见的句子和段落级别的抽取任务，本任务文本非常长，是两篇文章。

• 不同于传统的论辩关系预测任务，本任务首先需要从文本中抽取出论点，然后再判断论点间的关系。

动机

前人的工作主要在审稿领域，将APE分解为两个子任务去解决，一个是句子级别的序列标注任务，另一个是句子关系分类任务，两个子任务在一个多任务学习的框架中共同优化。

虽然效果不错，但这种方法仅通过两个子任务的预测结果来间接得到论点对，缺少对于论点级别互动信息的明确建模。同时，两个子任务在学习过程中可能不能很好地相互适应。

贡献

本文提出一个互指导的框架来解决论辩对抽取任务，能够利用一篇文章中的论点信息去指导另一篇文章中能够与其配对的论点的识别。利用这种方式，两篇文章能够在抽取论辩对的过程中相互指导。此外，还提出了一个句间关系图来高效建模句子之间的关系，从而辅助论点对抽取。

实验结果显示本文方法的性能大幅超过了现有的SOTA模型。进一步的分析显示了互指导框架和句间关系图的有效性。另外，我们的方法在抽取一对多的argument pair时表现出明显优势。

任务定义

具体来说，给定一篇review文章和一篇rebuttal文章，我们首先需要识别出两篇文章中的所有论点，得到一个review论点span的集合和一个rebuttal论点span的集合。然后，再从这些论点中抽取出论点对。

方法

本文提出结合句间关系图的互指导框架，用于解决论点对抽取任务。下图是总体的模型图。我们首先将句子进行编码，然后使用一个无指导的序列标注器去识别review和rebuttal中所有潜在的论点。之后，在通过图卷积得到关系增强的句子表示后，两个相互指导的序列标注器被用来抽取论点对。这一方法能够更好地建模整体的论点级别的语义信息，从而显示地捕捉论点对之间的复杂联系。

句间关系图：

首先介绍句间关系图的构建。我们使用这个句间关系图的目的是捕捉句子之间的潜在关系。该图将review和rebuttal中的每个句子视作节点，然后从两个角度来构图。从文章内的角度来看，我们基于句子间的相对位置关系来构建边。从跨文章的角度来看，我们基于句子间的共现词信息来连接边。

互指导框架：

我们使用BERT来编码每个句子，然后使用LSTM来捕捉句子间的上下文联系。用这种方式，可以得到review和rebuttal的上下文句子表示矩阵。

  

此后，使用一个序列标注器来识别所有的潜在论点，称作无指导的标注器。它可以为接下来的论点对抽取显示地提供论点span信息。这样我们便可以得到review和rebuttal中的潜在论点span。

 

下一步，将之前得到的句子表示作为句间关系图的节点，然后使用GCN来进行信息交换。GCN最后一层的输出被作为关系增强的句子表示。

 

  

最后，通过两个互指导的序列标注器来抽取论点对，即review论点指导的标注器和rebuttal论点指导的标注器。对于review论点指导的标注器，通过平均池化的方式得到每个review论点的表示。

为了使review论点能够指导rebuttal中能够与之配对的论点的识别，将该review论点的表示拼接到rebuttal每个句子表示的后面，然后通过一个LSTM+CRF序列标注出配对的论点。

   

rebuttal论点指导的标注器的可以用同样的方式来进行。

训练&推理：

损失函数包含两个部分，一部分是针对论点识别任务，另一部分是针对论点对抽取任务。

 

在推理阶段，直接将两个互指导的标注器所预测的结果取并集得到最终的论点对。

实验

在RR数据集上进行了实验。该数据集分为两种划分方式。在RR-submission上，本文模型在APE任务上比之前的SOTA模型提高了7.94个百分点。在RR-passage上，本文模型提高了7.01个百分点。

消融实验可以看到，如果没有互指导，性能会大幅下降。此外，还能够看到，句间关系图对于模型的性能贡献也很大。

下图显示了论点识别任务的详细结果。由于一般来说rebuttal文章的结构和安排更加清晰，模型对于rebuttal的论点识别效果更好。本文模型针对rebuttal文章的效果与之前SOTA模型类似，但是本文模型在更加复杂的review文章上取得了明显更高的性能。

进一步比较模型对一对多的论点对抽取的效果。将测试集中所有的论点对分为了两个子集，一个仅包含一对一的论点对，另一个仅包含一对多的论点对。之后，对比之前的SOTA模型与本文模型在两个子集上的recall效果。可以看到，本文模型在对一对多的论点对的抽取更加有效，这样的提升很大程度上来自于本文模型在抽取论点对的时候，能够考虑整个文章序列。

最后，分析句间关系图的参数对于整体性能的影响。包括文章内句子关系的取值，共现词的阈值，以及GCN的层数所带来的影响。对于图4a，由于多数的论点都只包含少量的句子，因此不应该将距离过远的句子连接起来，否则性能会大幅下降。对于图4b，可以看到，两个句子间如果出现了多于两个的共现词，那么这两个句子很有可能就来自于同一对论点。对于图4c，可以看到GCN层数为1时效果是最好的。

结论

本文提出了一个高效的互指导框架用于论点对抽取。该方法能够在抽取论点对的过程中使得两篇文章相互指导。此外，我们引入了一个句间关系图，从而更高效地捕捉句子间的关系。最终的实验结果显示本文方法取得了明显的性能提高。

---

投稿或交流学习，备注：昵称-学校（公司）-方向，进入DL&NLP交流群。

方向有很多：机器学习、深度学习，python，情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

记得备注呦

整理不易，还望给个在看！