Understanding Dataset Design Choices for Multi-hop Reasoning

最新推荐文章于 2023-09-04 15:23:33 发布
最新推荐文章于 2023-09-04 15:23:33 发布
阅读量397 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Yunshang12345/article/details/109850807
版权

Understanding Dataset Design Choices for Multi-hop Reasoning (NAACL 2019) 阅读笔记

记录论文中几个有趣的实验。

1.单句包含答案实验

首先做了一个简单的实验，给模型输入一个句子以及问题，模型输出该句包含问题对应答案的概率。然后在这两个数据集上分别训练了这么一个模型，再测试，发现超过一半的样例都成功判断出了包含答案的句子。

实验结果表明：不进行多跳推理就可以定位答案。这可能是由于模型具有简单的词汇匹配功能。

【思考】：答案预测是以命名的实体为驱动的，从而浅层的匹配功能就能完成答案的预测。能否设计出不以实体为驱动的问题？或者设计出能够产生实体层面干扰的distractor sentences?

2.可以可以不看文章直接答

对于wikihop 数据集，只给模型问题以及候选答案集合，不给定文章，让模型预测答案。

实验结果：

给只问题就选择答案，准确率竟然达到了59.70！

3.Span-based vs. Multiple-choice

HotpotQA是一个span式的数据集，而Wikihop则是一个多选的数据集。作者把hotpotQA(distractor setting)中的不包含答案的其余9个文档中抽取出一个实体，这9个实体和答案组成候选答案集合，从而将HotpotQA改造成多选数据集。然后对于Wikihop数据集，作者也将其改造成了span式的数据集，具体的改造方法是：把所有文档连接起来，第一次出现答案的位置就是gold span。

实验结果：

做了实验之后发现，在HotpotQA和Wikihop-Span(基于答案抽取的Wikihop)上得分都比较低，而在HotpotQA-MC(多选择式的hotpotQA)和Wikihop上的结果都挺高的。

作者经过分析得到了以下结论：
（1）当训练集和测试集都是多选数据集的时候，模型（注意是论文中进行实验的模型）就不会多跳推理
（2）Span式的数据集更加 具有挑战性，但仍然有一些问题不需要多跳推理也能回答
（3）给多选式数据集增加选项并不能从本质改变这一现象 （如上图）
（4）Span式的训练数据更加健壮（powerful）

记忆力退化的玲玲酱
关注
Controllable Multi-Interest Framework for Recommendation
weixin_41697507的博客
07-23 3486
Controllable Multi-Interest Framework for Recommendation ABSTRACT Recently, neural networks have been widely used in e-commerce recommender systems, owing to the rapid development of deep learning. We formalize the recommender system as a sequential recom
【论文阅读】Dynamically Fused Graph Network for Multi-hop Reasoning
没有胡子的猫Asimov
07-09 417
Dynamically Fused Graph Network for Multi-hop Reasoning 论文：https://arxiv.org/abs/1905.06933 代码：https://github.com/woshiyyya/DFGN-pytorch 任务 处理基于文本的问题回答（TBQA）,现有的大多数方法都侧重于在一个段落中寻找问题的答案。但是许多复杂的问题需要从两个或更多的文档中分散的文本中寻找多个支持证据。本文提出了动态融合图网络（DFGN），来回答需要从多个分散的证据推理
Dynamically Fused Graph Network for Multi-hop Reasoning
Jeaksun的博客
05-20 365
Dynamically Fused Graph Network for Multi-hop Reasoning 用于多跳推理的动态融合图网络 Abstract 在两个或更多文档中的文本中进行多跳问答任务是一个难点。在本文中，作者提出了一种新的方法–动态融合图网络(DFGN)，用于回答需要多个分散证据并在其上进行推理的问题。 受人类循序渐进推理行为的启发（从query中感兴趣的实体开始，聚焦于实体开始周围的单词，连接到邻居中发现的或相同surface提及链接的某个实体，然后重复以上步骤） DFGN包含了一个.
[论文阅读笔记19]Scalable multi-hop relational reasoning for knowledge-aware question answering
ld326的专栏
02-24 1674
1. 题目 知识感知问答的可扩展性多跳关系推理模型 Feng Y, Chen X, Lin B Y, et al. Scalable multi-hop relational reasoning for knowledge-aware question answering[J]. 2020.emnlp-main.99 链接：https://arxiv.org/pdf/2005.00646.pdf GitHub项目地址：https://github.com/INK-USC/MHGRN 2. 作者 Yanlin
【论文阅读】HOTPOTQA A Dataset for Diverse, Explainable Multi-hop Question Answering
没有胡子的猫Asimov
07-10 1448
HOTPOTQA A Dataset for Diverse, Explainable Multi-hop Question Answering 论文：https://arxiv.org/pdf/1809.09600.pdf 一个多样的，可解释的多跳问答数据集。 任务 现有的问答数据集不能训练QA系统进行复杂的推理并提供答案的解释。提出hotpot数据集，提供支持事实使模型能够改进性能并做出可解释的预测。 HOTPOTQA介绍 HOTPOTQA是一个新的数据集，拥有113k个基于Wikipedia的问答
论文-《GQA: A New Dataset for Real-World Visual Reasoning and Compositional Question Answering》
Vivinia的博客
11-26 2069
论文下载 摘要（Abstract）： We introduce GQA, a new dataset for real-world visual reasoning and compositional question answering, seeking to address key shortcomings ofprevious VQA datasets. We have develop...
论文笔记013:[CVPR2019]CityFlow: A City-Scale Benchmark for Multi-Target Multi-Camera Vehicle Tracking an
qq_41876456的博客
11-17 4273
机器之心详解 摘要 城市交通优化使用交通摄像头作为传感器，推动了先进的多目标多摄像头(MTMC)跟踪的需求。背景 这项工作引入了CityFlow，这是一个城市规模的交通摄像头数据集，包含超过3小时的同步高清视频，来自10个路口的40个摄像头，同时两个摄像头之间的最长距离为2.5公里。据我们所知，CityFlow是城市环境中最大的空间覆盖和摄像头/视频数量的数据集。该数据集包含超过200K的带注释的边界框，涵盖了广泛的场景、视角、车辆模型和城市交通流状况。摄像机的几何形状和校准信息被提供来辅助时空分析。此.
【论文笔记】MOT16 A Benchmark for Multi-Object Tracking数据集介绍
热门推荐
修行的猫ZQ
02-27 1万+
MOT16: A Benchmark for Multi-Object Tracking MOT16是2016年提出的多目标跟踪MOT Challenge系列的一个衡量多目标检测跟踪方法标准的数据集。 官方网站：https://motchallenge.net/ 论文可见：https://arxiv.org/abs/1603.00831 MOT16主要标注目标为移动的行人与车辆，是基于MO
WikiHop&MedHop跨文本推理机器阅读理解数据集
01-09
这是从Qangaroo官方网站下载的。官网只公开训练集和测试集，验证集不公开。
文献阅读6-Entity-Relation Extraction as Multi-turn Question Answering（实体关系联合抽取,层次标签依赖关系，multi-turn QA）
01-06
文章目录abstract1.Introduction3.相关工作2.2MRC(机器阅读理解）2.3 非QA->QA3.数据集和任务3.1别人的数据集3.2我们建立的数据集RESUME4.Model4.1概述4.2生成问题4.3通过MRC来获取答案范围4.4 强化学习5.实验5.1RESUME结果5.2 其他结果6 Ablation Studies6.2问题生成策略的影响6.2联合训练的影响6.3case study Entity-Relation Extraction as Multi-turn Question Answering code abstract 在本文中，我们提出了一种新的实体
《Dynamically Fused Graph Network for Multi-hop Reasoning》 论文笔记
qq_42791848的博客
02-20 838
Dynamically Fused Graph Network for Multi-hop Reasoning 论文笔记 2019ACL，SJTU & ByteDance，这是一篇融合了图表示学习来做多跳推理的文章。 Overview 本文作者提出的模型叫做DFGN，作者首先谈到HotpotQA这种类型的数据集带给人们两大挑战： 数据集中给出的paragraph并不都是与问题相关的，模型需要过滤掉噪声。针对这一问题，之前的工作提出构建基于paragraph的entity graph，然后通过图神经
【知识图谱论文】多跳推理真的可以解释吗？ 走向基准推理可解释性
qq_43058281的博客
10-26 1872
可解释知识图谱
Subgraph Retrieval Enhanced Model for Multi-hop Knowledge Base Question Answering
最新发布
c_cpp_csharp的专栏
09-04 136
最近关于知识库问答（KBQA）的工作检索子图以便于推理。所需的子图至关重要，因为小个子图可能会排除答案，但大个子图可能引入更多噪声。然而，现有的检索要么是启发式的，要么与推理交织在一起，导致在部分子图上进行推理，这增加了在缺少中间监督时的推理偏差。本文提出了一种与后续推理过程解耦的可训练子图检索器（SR），它使即插即用框架能够增强任何面向子图的KBQA模型。大量实验表明，SR的检索和QA性能明显优于现有的检索方法。
论文笔记：Subgraph Retrieval Enhanced Model for Multi-hop Knowledge BaseQuestion Answering
qq_40398918的博客
06-21 1602
提出了一个子图检索器(SR ),它与后续的KBQA推理机相分离。SR被设计为有效的双编码器，其可以在扩展路径以及确定扩展的停止时更新问题。两个基准测试的实验结果表明，在面向子图的推理机之前注入SR，可以有效提高QA性能。如果通过弱监督预训练以及端到端微调来学习SR，配备有NSM的SR为基于嵌入的KBQA方法创建新的SOTA结果。......
针对复杂问题的知识图谱问答最新进展
Paper weekly
04-20 5047
作者｜付彬、唐呈光、李杨、余海洋、孙建单位｜阿里巴巴达摩院小蜜ConversationalAI团队背景介绍知识图谱问答（KBQA）利用图谱丰富的语义关联信息，能够深入理解用户问题并给出...
ACL 2022 主会长文论文分类整理
Kaiyuan_sjtu的博客
05-13 5945
© 作者｜蒋锦昊 机构｜中国人民大学高瓴人工智能学院研究方向 | 自然语言处理导读ACL 2022是CCF A类会议，人工智能领域自然语言处理（Natural Language Processing，NLP）方向最权威的国际会议之一。第60届计算语言学协会计划于今年5月22日-5月27日在爱尔兰都柏林召开。官方发布的接收论文列表：Accepted Papers...
文献阅读笔记：Answering Complex Open-Domain Questions with Multi-Hop Dense Retrieval
qq_43569299的博客
02-15 184
文章提出一种简单有效的多条密集检索方式来回答开放领域的复杂问题，在两个多条数据集（HotpotQA和multi-evidence FEVER）上实现了目前最好的效果。与过去的工作对比，我们的方法不需要获取任何专业领域语料库的信息，比如文本交互的超链接或者人工注释的实体标记，可以应用于任何非结构化文本语料库。我们的系统也生成了一个更有效的准确率均衡，与HotpotQA数据集上已发布的最好的准确率相匹配，且在腿短时间上快10倍。
Learning a Deep ConvNet for Multi-label Classification with Partial Labels代码浮现
06-01
好的，以下是使用PyTorch实现 "Learning a Deep ConvNet for Multi-label Classification with Partial Labels" 论文的示例代码。 ```python import torch import torch.nn as nn import torch.optim as optim from...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值