论文浅尝 | AdaLoGN: 基于推理的机器阅读理解的自适应逻辑图网络

笔记整理：何仕玉珑，天津大学硕士

链接：https://arxiv.org/pdf/2203.08992.pdf

动机

最近的机器阅读理解数据集(如ReClor和LogiQA)需要对文本执行逻辑推理。传统的神经模型不足以进行逻辑推理，而符号推理机不能直接应用于文本推理。为了应对这一挑战，文章提出了一种神经符号方法，通过表示文本单元之间逻辑关系的图传递信息来预测答案。它引入了自适应逻辑图网络(AdaLoGN)，通过自适应推断逻辑关系来扩展图，本质上实现了神经推理和符号推理之间的相互迭代强化。文章还实现了一个新的子图到节点的消息传递机制，以增强上下文选项的交互来回答多项选择题。文章提出的方法在ReClor和LogiQA上显示了很好的结果。

亮点

AdaLoGN的亮点主要包括：

（1）一种新颖的神经-符号方法，其中神经和符号推理相互并迭代地加强彼此。

（2）在基于图的神经推理中，提出了一种新的基于聚合的消息传递增强方法。

概念及模型

MRC任务<c, q, O>由上下文c，问题q和一组选项O组成，O中只有一个选项是给定c的q的正确答案，MRC的任务目标就是找到这个选项。

对于每个选项o∈O，AdaLoGN通过一个预先训练的语言模型生成c, q, o的表示（即gc, gq, go），并构建一个原始的TLG（文本逻辑图），其中节点（即u1，…， u|V|）表示从c、q、o中提取的edu，边表示它们的逻辑关系。通过预训练模型得到它们的初始表示，然后以迭代的方式自适应扩展TLG（即符号推理），然后传递消息（即神经推理）来更新节点表示，从而生成TLG的表示hG，然后通过子图到节点消息传递加强图中的关系交互，最后，根据上述表述预测o的正确性。

模型整体框架如下：