Dynamically Fused Graph Network for Multi-hop Reasoning

最新推荐文章于 2022-10-26 23:10:20 发布
最新推荐文章于 2022-10-26 23:10:20 发布
阅读量374 收藏 2
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Yunshang12345/article/details/109724187
版权

Dynamically Fused Graph Network for Multi-hop Reasoning （ACL 2019）阅读笔记

动机：

single-hop QA 任务无法测试潜在模型的深度推理能力。

１．现有的工作从输入段中构建实体图，并利用GNN对该实体图执行信息融合；现有的所有工作是在静态图上执行GNN，这是一种隐式推理。

２．之前的工作将文本信息汇集成实体图，选择实体图中的某一个实体作为答案，然而在现实中，答案并不总是为所提取得实体图中的一个实体。这样的方法很难直接运用到open-domain 的QA 任务中

贡献：

1.本文基于query和document中的entity mention构建动态实体图。

2.本文提出一个信息融合的过程。该过程不仅可以将信息从document 传递到图的实体中，还可以将信息从实体图中反向传播回到document 中。

模型：

作者提出了一个dynamically fused graph network (DFGN)。该模型分为五个部分：段落选择子网络, 实体图构建模块, 编码层， 多跳推理融合块 和答案预测层。

1. 段落选择子网络

该子网络由一个预训练好的BERT模型，上层再接一个分类层。该子网络的输入为问题和某一段落，输出一个评分。该评分表示该段落含有至少一个support sentence的概率。在这篇论文中，主要计算出的评分大于0.1，就认为该段落为问题相关段落。最终问题Q，和筛选后的段落C.

2. 构建实体图

  • 利用现成的命名实体工具去提取实体，作为图的节点。抽取出的实体数为N。节点间边的构成按照以下的规则：
  1. 对于同一个句子中同时出现的实体间建立边的连接。
  2. 如果同一实体在Context中出现多次，则他们直接有边的连接。eg. 如“美利坚合众国”这个实体可能在文章中被多次提及，每次出现则图中会新建一个节点，这些节点直接都是互相连接的。
  3. 文章标题中出现的实体与其对应正文中的所有实体都有连接。

3. 对query 和 contex 进行编码

  • 首先将Q 和C 拼接在一起，共同输入到预训练好的BERT模型，分别得到问题中每个token的表示Q=[q_1,\cdots,q_L]\in \mathbb{R}^{L\times d_1}和context中每个token 表示C=[c_1,\cdots,c_M]\in \mathbb{R}^{M\times d_1}.
  • 再将Q 和 C共同输入到一个Bi-attention中（这里指的是C2Q，和Q2C），这样做可以实现query和context 间信息的交互， 最终得到query 的向量表示Q_0\in\mathbb{R}^{L\times d_2}和context 的向量表示C_0\in \mathbb{R}^{M\times d_2}。此时d_2 < d_1. 新的维度d_2小于BERT的输出维度d_1。

4.用融合块推理.

该部分的输入为C_0，Q_0 和所构建的实体图G

该模块主要执行以下流程：通过计算document tokens 中的实体向量实现信息从tokens 向图中的实体结点传递； 在实体图间执行信息传播； 从实体图向文本tokens 传播信息；

(1) Document to Graph Flow. 目的是将实体中的多个token 向量压缩成一个向量.

作者的做法是：利用max-pooling 和mean-pooling 将多个token向量压缩成一个，并将这两个压缩后的向量拼接起来，构成维度为2d_2的xiang

对于第t层的fusion block, 记输入的context为C_{t-1 }, 得到的实体表示为E_{t-1}=\{e_{t-1,1},\cdots,e_{t-1,N}\}\in\mathbb{R}^{2d_2\times N},N为一个样本允许的最大实体数。(超过的被都截断)

(2) Dynamic Graph Attention.

  • 计算query 和实体图中每个实体的重要性（注意力）（the more relevant to the query, the neighbor nodes receive more information from nearby, 与query相关性越大的节点，得到的信息越多）

m^{(t)}代表每个实体与query 的相关性

  • 标准的图注意力机制算法

  • 根据实体i的邻居更新实体i的节点表示

其中B_i为实体i的邻居集合

利用上述步骤实现信息在实体图之间传播，得到更新后的实体表示E^{(t)}=\{e^{(t)}_1},\cdots, e^{(t)}_N}\}.

(3) Updating Query.

在每一层Fusion Block结束后，还会使用新的实体表示通过Bi-Attention来更新Query的表示。

(4) Graph to Document Flow.

将该层输入的Context的表示 C_{t-1} 中的每个token与其对应的实体的表示拼接然后送入LSTM

（5）Prediction:

使用一个级联结构依次预测1.support evidence 2. start positioin 3 end positing 4 answer type.

其中，F_0,F_1,F_2,F_3为四个层层堆叠的同构LSTM 

最终的目标函数为四个交叉熵损失函数：

 

IDEA

1. 仅使用识别出的命名实体作为entity 存在局限性，因为在现实场景，回答问题并不总是以命名实体为驱动的。总的来说，使用实体作为图的节点是不完备的。

2. 在答案预测部分，四个级联的结构存在不合理性。比如，先预测答案类型再预测start 和end更为合理点。

 

部分内容参照这位大佬，感谢！

记忆力退化的玲玲酱
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
GNN4NLP-Papers
SimonChen
07-13 1340
GNN4NLP-Papers A list of recent papers about GNN methods applied in NLP areas. Taxonomy Fundamental NLP Tasks Incorporating Syntactic and Semantic Information in Word Embeddings using Graph Convolutional Networks. Shikhar Vashishth, Manik Bhandari, Prate
原创 | 假期必读：一文看尽2019-2020各大顶会GNN论文（附链接）
数据派THU
01-20 2840
纵观2019年包括深度学习、计算机视觉、文本处理以及数据挖掘在内的顶级会议，图学习相关的论文较于之前都有十分明显的增长。而就 2020的情况来看，这个趋势还在不断扩大。总之，Graph ...
Cognitive Graph for Multi-Hop Reading Comprehension at Scale论文泛读笔记
freedom_king的博客
09-08 1943
一、写在前面的话 由于时间有点赶，所以大致上只是简单地浏览了一遍，如有不对的地方，还望多多指教。整体看来，该模型的提出是针对多跳阅读理解，即若问题想要的答案无法在包含在一次检索中。 故CogQA使用两个系统来维护一张认知图谱（Cognitive Graph），系统一在文本中抽取与问题相关的实体名称并扩展节点和汇总语义向量，系统二利用图神经网络在认知图谱上进行推理计算。 二、论文模型 1. 系统一...
ACL2019|Dynamically Fused Graph Network for Multi-hop Reasoning
a609640147的博客
06-05 1475
文本问答（TBQA）近年来得到了广泛的研究。大多数现有的方法主要是在一个段落内找到问题的答案。然而许多困难的问题需要在两个或多个文档之中寻找答案。本文提出了动态融合图形网络（DFGN）这种新的回答方法，为需要多个分散证据来进行推理的文本问答提供了新的思路。在人类的逐步推理行为的启发下，DFGN包含了一个动态融合层，该层从给定查询中提到的实体开始，沿着文本动态构建的实体图进行探索，并从给定的文档中逐...
【论文阅读】Dynamically Fused Graph Network for Multi-hop Reasoning
没有胡子的猫Asimov
07-09 412
Dynamically Fused Graph Network for Multi-hop Reasoning 论文：https://arxiv.org/abs/1905.06933 代码：https://github.com/woshiyyya/DFGN-pytorch 任务 处理基于文本的问题回答（TBQA）,现有的大多数方法都侧重于在一个段落中寻找问题的答案。但是许多复杂的问题需要从两个或更多的文档中分散的文本中寻找多个支持证据。本文提出了动态融合图网络（DFGN），来回答需要从多个分散的证据推理
2019-ACL-上交+头条-Dynamically Fused Graph Network for Multi-hop Rea
08-04
Dynamically Fused Graph Network for Multi-hop Reasoning 本文介绍了一种名为 Dynamically Fused Graph Network（DFGN）的多跳推理方法，旨在解决基于文本的问答（TBQA）任务中的多文档推理问题。DFGN 模型通过...
智能问答系统与机器阅读理解分方向综述.pdf
最新发布
08-12
论文如"What's Missing"、"Self-Assembling Modular Networks"和"Dynamically Fused Graph Network"等提出了不同的方法来引导和改进多跳推理，以实现更准确的问题解答。 3. 多语言/跨语言的问答：随着全球化的推进...
《Dynamically Fused Graph Network for Multi-hop Reasoning》 论文笔记
qq_42791848的博客
02-20 826
Dynamically Fused Graph Network for Multi-hop Reasoning 论文笔记 2019ACL，SJTU & ByteDance，这是一篇融合了图表示学习来做多跳推理的文章。 Overview 本文作者提出的模型叫做DFGN，作者首先谈到HotpotQA这种类型的数据集带给人们两大挑战： 数据集中给出的paragraph并不都是与问题相关的，模型需要过滤掉噪声。针对这一问题，之前的工作提出构建基于paragraph的entity graph，然后通过图神经
[论文阅读笔记19]Scalable multi-hop relational reasoning for knowledge-aware question answering
ld326的专栏
02-24 1647
1. 题目 知识感知问答的可扩展性多跳关系推理模型 Feng Y, Chen X, Lin B Y, et al. Scalable multi-hop relational reasoning for knowledge-aware question answering[J]. 2020.emnlp-main.99 链接：https://arxiv.org/pdf/2005.00646.pdf GitHub项目地址：https://github.com/INK-USC/MHGRN 2. 作者 Yanlin
Understanding Dataset Design Choices for Multi-hop Reasoning
Yunshang12345的博客
11-20 382
Understanding Dataset Design Choices for Multi-hop Reasoning (NAACL 2019) 阅读笔记 记录论文中几个有趣的实验。 1.单句包含答案实验 首先做了一个简单的实验，给模型输入一个句子以及问题，模型输出该句包含问题对应答案的概率。然后在这两个数据集上分别训练了这么一个模型，再测试，发现超过一半的样例都成功判断出了包含答案的句子。 实验结果表明：不进行多跳推理就可以定位答案。这可能是由于模型具有简单的词汇匹配功能。 【思考】：答案预测
【知识图谱论文】多跳推理真的可以解释吗？ 走向基准推理可解释性
qq_43058281的博客
10-26 1790
可解释知识图谱
KBQA知识图谱问答（一）SimpleQA
BshoterJ的博客
06-21 3210
针对KBQA简单QA数据集的三篇论文阅读
Multi-Hop Knowledge Graph Reasoning with Reward Shaping
damuge2的博客
03-06 2446
Multi-Hop Knowledge Graph Reasoning with Reward Shaping来源背景motivation:模型改进实验代码 来源 2018　EMNLP Xi Victoria Lin Richard Socher Caiming Xiong Salesforce Research {xilin,rsocher,cxiong}@salesforce.com 背景 大...
论文阅读《Scalable Multi-Hop Relational Reasoning for Knowledge-Aware Question Answering》
qq_39466623的博客
12-02 1872
《Scalable Multi-Hop Relational Reasoning for Knowledge-Aware Question Answering》 来源：EMNLP2020 代码链接：https://github.com/INK-USC/MHGRN 重点：结合基于路径的关系推理模型和GNN，使多跳关系推理具有可解释性和可扩展性。 数据集：CommonsenseQA和OpenbookQA 摘要： 虽然fine-tuning的预训练语言模型（PTLMs）在一系列问答（Q...
知识图谱Multi-hop QA
fkyyly的专栏
12-11 1236
前言 之前的记忆网络BAM模型是取每个实体的two-hop以内的范围作为关系的候选区，因为WebQA数据集里问题基本能在two-hop以内解决，但是这样只是针对具体情况而缺乏泛华性，最近看到一些论文可以解决KBQA中的多跳问题具有一定参考性，并且这些年做多跳的还是比较少的，SimpleQA数据集精度都差不多登顶了（数据及本身有限制），隔壁用GNN系列在Multi-hop阅读理解上做的也是风生水起，KBQA也可以考虑一下多跳的问题了。 多跳问题就是问句中包含多个关系甚至多个实体，个人认为一方面可能是用到多个
论文浅尝 | 在生成式多跳机器阅读任务中引入外部常识知识
开放知识图谱
10-19 1462
Commonsense for Generative Multi-Hop Question Answering Tasks链接： https://arxiv.org/ab...
ACL 19 论文阅读---Cognitive Graph for Multi-Hop Reading Comprehension at Scale （待完善）
从网络到AI，从学术界到产业界，随着兴趣去逐梦
09-08 2528
1. 论文研读笔记 1.1 研究动机 本文是唐杰老师组在ACL2019上的一篇长文。本文针对机器阅读现在的三个挑战：推理能力，可解释性和规模性，论文基于Dual process theory设计了Cognitive Graph QA架构，来实现多跳的阅读理解。下图可以简单展示本文的多跳阅读的概念： 1.2 研究方法 本文的核心架构如下，系统1在抽取与问题相关的实体并编码语义向量，系统2利用图神经...
DER: Dynamically Expandable Representation for Class Incremental Learning算法
07-12
DER（Dynamically Expandable Representation for Class Incremental Learning）算法是一种用于类增量学习的动态可扩展表示方法。该算法旨在解决传统机器学习算法在处理类增量学习任务时可能出现的问题。 在传统的...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值