论文浅尝 | AdaLoGN: 基于推理的机器阅读理解的自适应逻辑图网络

论文介绍了AdaLoGN模型,该模型结合神经网络和符号推理,针对需要逻辑推理的机器阅读理解任务。通过自适应扩展的逻辑图网络和子图到节点的消息传递机制,AdaLoGN在ReClor和LogiQA数据集上表现出优秀性能。
摘要由CSDN通过智能技术生成

cce724120b4b1becd22156ded154d289.png

笔记整理:何仕玉珑,天津大学硕士

链接:https://arxiv.org/pdf/2203.08992.pdf

动机

最近的机器阅读理解数据集(ReClorLogiQA)需要对文本执行逻辑推理。传统的神经模型不足以进行逻辑推理,而符号推理机不能直接应用于文本推理。为了应对这一挑战,文章提出了一种神经符号方法,通过表示文本单元之间逻辑关系的图传递信息来预测答案。它引入了自适应逻辑图网络(AdaLoGN),通过自适应推断逻辑关系来扩展图,本质上实现了神经推理和符号推理之间的相互迭代强化。文章还实现了一个新的子图到节点的消息传递机制,以增强上下文选项的交互来回答多项选择题。文章提出的方法在ReClorLogiQA上显示了很好的结果。

亮点

AdaLoGN的亮点主要包括:

(1)一种新颖的神经-符号方法,其中神经和符号推理相互并迭代地加强彼此。

(2)在基于图的神经推理中,提出了一种新的基于聚合的消息传递增强方法。

概念及模型

MRC任务<c, q, O>由上下文c,问题q和一组选项O组成,O中只有一个选项是给定c的q的正确答案,MRC的任务目标就是找到这个选项。

对于每个选项o∈O,AdaLoGN通过一个预先训练的语言模型生成c, q, o的表示(即gc, gq, go),并构建一个原始的TLG(文本逻辑图),其中节点(即u1,…, u|V|)表示从c、q、o中提取的edu,边表示它们的逻辑关系。通过预训练模型得到它们的初始表示,然后以迭代的方式自适应扩展TLG(即符号推理),然后传递消息(即神经推理)来更新节点表示,从而生成TLG的表示hG,然后通过子图到节点消息传递加强图中的关系交互,最后,根据上述表述预测o的正确性。

模型整体框架如下:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值