NAACL’21 | 来看如何让模型学会因为所以但是如果

文 | Eleanor
编 | 戏

有一些标准考试那是真的难，难到能分分钟教你做人。对于留学党来说，申请法学博士需要 LSAT 考试成绩、申请商学院需要 GMAT 考试成绩。这些标准考试到底有多难，大概考过的都懂8（嘤嘤嘤_(:з」∠)_）

要想在这些考试中取得高分，需要有很强的理解和分析复杂文本的能力。而具体而言，这类复杂文本可以被称作论证文本，英文叫做 Argument。什么是 Argument 呢？最简单的形式，有前提（Premise），有结论（Conclusion） 就叫做 Argument。更复杂的 Argument，按照哲学家图尔敏提出的模型，还能包括数据（Datum）、支撑（Backing）、限定（qualifier）、反驳（rebuttal）等等[3]。

那么，怎么理解和分析 Argument ？那就需要逻辑推理能力了。那那那，如何才能拥有逻辑推理能力？其实就得先学会看文章里的逻辑结构，哪里是前提，哪里是结论，哪里是在表达观点，哪里又是列出证据对观点进行了佐证。这么复杂的任务，人类考生都说难，模型要咋做呢？

今天介绍的这篇被 NAACL 2021 收录的论文提出了一个回答逻辑推理问题的模型。让我们一起来看看它是如何看懂文章中的逻辑结构的吧～

论文题目：
DAGN: Discourse-Aware Graph Network for Logical Reasoning

论文链接：
https://arxiv.org/pdf/2103.14349

Arxiv访问慢的小伙伴也可以在 【夕小瑶的卖萌屋】订阅号后台回复关键词 【0427】 下载论文PDF~

1 论文概述

论文提出了一个解决逻辑推理的问答模型 DAGN。由于这些逻辑推理问题往往不提供任何的逻辑结构的提示，因而为了理解其中的逻辑关系，论文的模型引入了一种新的构建文本的逻辑结构的方法，即利用文本中的篇章关系（Discourse Relation）构建逻辑图。

这一方法的好处是能够捕捉文本级别的关系（Passage-Level Relations），例如句子之间的关系、主句与从句之间的关系、文本片段之间的关系等。如此一来，文本中的前提-结论，证据-观点等等关系，就能反映在逻辑图上了。

这样的建图方式，相比于以往的基于实体关系、句子依存关系的建图方式，显然要更适用于这一类逻辑推理任务。在构建逻辑图之后，模型就能够对文本信息进行类似于数学运算一样的离散化操作了。在这里模型使用了图神经网络来进行图计算，更新之后的图节点特征，反映了逻辑推理下的文本特征。DAGN 长这样：

2 基于篇章关系的逻辑图构建

为了发现文本中的篇章关系，论文参考了大型的篇章关系语料库——宾州篇章树库（Penn Discourse TreeBank, PDTB）[4]。根据 PDTB 的定义，在文本中大致能找到两类篇章关系：一类由文本中的显式连接词（Explicit Connectives） 标记出来；另一类缺乏显式连接词的，需要通过上下文隐式地表明，称之为隐式连接词（Implicit Connectives）。这种隐式的上下文关系往往存在于两个句子之间，或者同一个句子的两个子句之间。根据 PDTB 的定义，论文定义了两类篇章关系的标记：（1）所有在 PDTB 2.0 中被标记的显式连接词（2）几个常用的分句的标点符号（例如：句号，逗号，冒号，分号等）。

在找到文本中所有的篇章关系之后，论文将文本根据篇章关系分割成若干个文本片段。这些文本片段被称为基本篇章单元（elementary discourse units, EDUs），它们作为逻辑推理的基本单元参与到推理的过程中。于是，每一个 EDU 作为逻辑图的一个节点，而篇章关系则作为逻辑图的边。边的类别共两种，一种是显式连接词所代表的关系，另一种是标点符号所代表的关系。边的连接采用最简单有效的方式：每两个在文本中相邻的 EDU 之间以界定它们的篇章关系相连，并且边的连接是双向的。

因而，逻辑图实际上可以看作链状图。实验证明这种简单的构图方式是有效的。建图的例子展示在模型图的第（1）部分。

3 识别篇章关系的图神经网络

首先初始化图节点的特征，由于图节点就是文本中的 EDU，因此需要对 EDU 进行编码。模型首先使用预训练的语言模型获得每一个字符的基于上下文的编码，然后将同一个 EDU 之内的字符编码相加，获得 EDU 的编码。

然后，通过图神经网络进行信息传递的计算，更新图节点的特征。图计算参考了解决数学计算问题的 NumNet[5]。模型首先通过一个线性变换和一个激活层计算每一个图节点的权重 ，然后通过这一权重进行信息传递的计算

一次传递后节点特征的更新为

再经过若干次的信息传递和节点特征更新之后，节点的 EDU 特征与对应位置的初始字符特征相加，最后经过分类器，选择出认为正确的选项。

4 实验验证

模型的验证在两个逻辑推理问答数据集 ReClor 和 LogiQA 上进行。这两个数据集都是多选题的形式，评价指标为的准确率。在表格所展示的实验结果中，DAGN 以 RoBERTa-Large 作为预训练的模型。DAGN 在两个数据集上的实验结果分别如下：

截止到 2020年11月17日，DAGN 在 ReClor 的排行榜上位列第一。

5 消融实验

消融实验部分讨论了建图方式以及图推理计算。实验结果表明，若去掉显式的篇章连接词，只采用分句的标点符号作为界定符，使得逻辑图的节点不再是准确的 EDU ，而是更大单元的句子或者子句时，模型的性能有所下降。

此外，减少边的类别或者改变边的连接方式，对模型性能也有较大影响。尤其是当边的连接方式变为节点之间的全连接时，模型性能显著下降。由此证明，本文的建图方式对于逻辑推理具有比较高的合理性。另一方面，实验结果也表明，如果去掉模型中的图推理部分，模型的性能也会明显下降。

6 总结

论文提出了一个解决逻辑推理的问答模型 DAGN。DAGN 利用文本中的篇章关系构建逻辑图并使用图神经网络进行逻辑推理。建图的方式虽然简单，但是有效。这种利用文本中的篇章关系去表示逻辑关系的思路，非常有意思，说不定可以借鉴到其他问题上～

寻求报道、约稿、文案投放：
添加微信xixiaoyao-1，备注“商务合作”

后台回复关键词【入群】

加入卖萌屋NLP/IR/Rec与求职讨论群

后台回复关键词【顶会】

获取ACL、CIKM等各大顶会论文集！

 

[1].Yu et al. ReClor: A Reading Comprehension Dataset Requiring Logical Reasoning. In ICLR 2020.

[2].Liu et al. LogiQA: A Challenge Dataset for Machine Reading Comprehension with Logical Reasoning. In IJCAI 2020.

[3].https://en.wikipedia.org/wiki/Stephen_Toulmin.

[4].Prasad et al. The Penn Discourse TreeBank 2.0. In LREC 2008.

[5].Ran et al. NumNet: Machine Reading Comprehension with Numerical Reasoning. In EMNLP 2019.