【论文阅读】HOTPOTQA A Dataset for Diverse, Explainable Multi-hop Question Answering

最新推荐文章于 2024-09-13 21:44:56 发布
最新推荐文章于 2024-09-13 21:44:56 发布
阅读量1.7k 收藏 4
点赞数 2
分类专栏： 论文阅读 文章标签： python 机器学习 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39827677/article/details/118597975
版权
HOTPOTQA是一个113k条目的多跳问答数据集，强调多样性与可解释性。它需要模型通过多个文档进行推理并提供证据。数据集分为single-hop和full wiki两种设置，后者更具挑战性。模型结构利用selfattention层预测支持事实，评估指标包括精确匹配（EM）和F1分数。研究发现，模型在比较问题上的性能有待提升。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

HOTPOTQA A Dataset for Diverse, Explainable Multi-hop Question Answering

论文：https://arxiv.org/pdf/1809.09600.pdf

一个多样的，可解释的多跳问答数据集。

任务

现有的问答数据集不能训练QA系统进行复杂的推理并提供答案的解释。提出hotpot数据集，提供支持事实使模型能够改进性能并做出可解释的预测。

HOTPOTQA介绍

HOTPOTQA是一个新的数据集，拥有113k个基于Wikipedia的问答对，具有以下四个关键特性：

  • 这些问题需要在多个支持文档上找到答案并进行推理。
  • 问题是多样的，不局限于任何预先存在的知识库或知识模式。
  • 提供推理所需的句子级支持事实，允许QA系统在强监督下推理并解释预测。
  • 提出了一种新的factoid comparison questions来测试QA系统提取相关事实和进行必要比较的能力。

数据集

数据集划分

single-hop数据集：The train-easy set contains 18,089 mostly single-hop examples.

将hard examples随机划分为4个子集：

  • train-hard, dev, test-distractor, test-fullwiki
image-20210131161127920

two benchmark settings

  • distractor

    8 paragraphs from Wikipedia + 2 gold paragraphs

  • full wiki

    要求模型回答所有Wikipedia文章的第一段给出的问题。

两种设置使用不同数据集的原因：distractor设置中的模型可以使用gold paragraphs，但full wiki设置中不可以使用gold paragraphs。

Question Types

image-20210131164223663

Answer Types

image-20210131164623642

  • 68%的回答实体相关。

模型结构

image-20210131171031628

  • 对于每个句子，在第一个和最后一个位置连接selfattention layer的输出，并使用binary linear classifier来预测当前句子成为支持事实的概率。
  • 将此分类器的二进制交叉熵损失最小化。 在多任务学习环境中，该目标与正常问答目标共同得到优化，并且它们共享相同的low-level representations。
  • 使用该分类器，还可以在支持事实预测的任务上评估模型以评估其可解释性 。

性能水平

评估指标

  • exact match (EM) and F1

  • 计算F1

P ( j o i n t ) = P ( a n s ) P ( s u p )

最低0.47元/天 解锁文章
HotpotQA多跳问答数据集；Kaggle在线数据科学和机器学习竞赛平台
ZJQ的博客
12-23 647
该条数据中，问题需要结合两个支持事实进行多步推理才能得出答案。首先要找到Facebook创立于哈佛大学寝室这一信息，再获取哈佛大学位于美国麻省剑桥市这一知识，通过两者的关联推理出Facebook的诞生地为剑桥市。参赛者需先在平台上注册登录，然后选择竞赛项目，下载相应数据集进行分析和预处理，接着使用机器学习算法构建模型并训练优化，最后将预测结果提交到平台，平台会根据预设评估指标评分并给出排名和反馈.：小扎在哈佛大学的寝室创立Facebook，哈佛大学在美国麻省的剑桥市.：美国麻省的剑桥市.
多层次多文档问答:大语言模型的终极挑战
步子哥的博客
08-27 702
在人工智能和自然语言处理领域,问答系统一直是研究的热点。随着大语言模型(LLM)的迅速发展,它们在各种问答任务上都展现出了惊人的能力。然而,现实世界中的许多问题往往需要更复杂的推理能力 - 不仅要从多个文档中提取信息,还要进行多步骤的推理才能得出最终答案。这种类型的问题被称为"扇出式"(fan-out)问题,它对LLM的能力提出了更高的要求。为了全面评估LLM在这类复杂问答任务上的表现,宾夕法尼亚大学的研究团队开发了一个名为FanOutQA的数据集和评测基准。
论文：HOTPOTQA: A Dataset for Diverse, Explainable Multi-hop Question Answering翻译笔记（多跳问题解答的数据集）
weixin_56242678的博客
04-05 2803
论文：HOTPOTQA: A Dataset for Diverse, Explainable Multi-hop Question Answering翻译笔记（多跳问题解答的数据集）
针对复杂问题的知识图谱问答最新进展
Paper weekly
04-20 5204
作者｜付彬、唐呈光、李杨、余海洋、孙建单位｜阿里巴巴达摩院小蜜ConversationalAI团队背景介绍知识图谱问答（KBQA）利用图谱丰富的语义关联信息，能够深入理解用户问题并给出...
HotpotQA数据集
qq_42791848的博客
02-16 4771
HOTPOTQA: A Dataset for Diverse, Explainable Multi-hop Question Answering Dataset HotpotQA是2018年新提出的一个多跳推理问答数据集，本文主要来看数据集的格式。 从图上可以看出数据集还是比较大的，训练集分为了三个难度：easy、medium、hard，其中medium占主要部分。 整个数据集其实还可以分成两类：distractor和fullwiki。distractor的数据包含以下的几个部分： 问题 问题的类型
HotpotQA 多跳问答数据集 Multi-hop QA
Norstc的博客
07-07 3725
论文地址：HOTPOTQA: A Dataset for Diverse, Explainable Multi-hop Question Answering 论文来源：EMNPL 2018 问题介绍： 问答（QA）的任务提供了一种可量化和客观的方法来测试智能系统的推理能力。而很多数据集却有以下不足，一，一些数据集主要关注在单段落，单文档，单跳的推理能力测试；二，基于知识库的数据集结构受限，问题与回答多样性弱；三，数据集中只有问题与回答，缺少对支持事实的标注，很难学习推导过程与可解释的预测。作者制作了一
HotpotQA: 多跳问答数据集与基线模型
最新发布
gitblog_07225的博客
09-13 756
HotpotQA: 多跳问答数据集与基线模型 hotpot 项目地址: https://gitcode.com/gh_mirrors/ho/hotpot 项目基础介绍和主要...
华为云登顶HotpotQA多跳知识推理问答评测
华为云官方博客
01-21 2411
日前，华为云在知识计算领域的多跳知识推理问答取得重大进展。基于自然语言处理领域的领先技术积累，华为云语音语义创新Lab联合华为诺亚方舟实验室在国际权威的HotpotQA评测Fullwiki Setting赛道荣登榜首，在答案模糊准确率和联合模糊准确率（Joint F1）等指标上均达到第一。 HotpotQA评测（Fullwiki Setting赛道）最新榜单（截至2021年1月20日） 作为企业重要的信息载体，数字化文档记录了大量企业知识，如何快速帮助企业员工从数字化文档中获得答案，是企业文档维护人
【ECCV2020】接收论文列表part1
TomRen
07-18 7053
ECCV2020 接收论文完整列表 看论文学CV
HotPotQA 项目指南
gitblog_00045的博客
08-08 600
HotPotQA 项目指南 项目地址:https://gitcode.com/gh_mirrors/ho/hotpot 1. 项目介绍 HotPotQA 是一个多-hop问答数据集，旨在推动机器阅读理解的发展，特别是对复杂查询的理解能力。这个项目提供了一组问题，这些问题需要结合多个信息来源（即“跳”）来回答，就像人们在解决问题时做的那样。它的目的是鼓励研究者开发能够执行多步推理的模型。 2. 项目...
热火锅（HotpotQA）安装与配置完全指南
gitblog_07224的博客
09-13 1099
热火锅（HotpotQA）安装与配置完全指南 hotpot 项目地址: https://gitcode.com/gh_mirrors/ho/hotpot 项目基础介绍 热火...
探索HotpotQA：多跳推理问答的新里程碑
gitblog_00079的博客
04-27 3258
探索HotpotQA：多跳推理问答的新里程碑 项目地址:https://gitcode.com/gh_mirrors/ho/hotpot 在信息爆炸的时代，我们经常需要处理复杂的查询，这需要从多个来源提炼和整合信息。HotpotQA正是为此类任务而设计的一个开源项目，它是一个大型的、多跳的问答数据集，旨在推动机器智能在理解和解答复杂问题上的进步。 项目简介 HotpotQA是由哈佛大学和斯坦福大学...
【论文阅读】Multi-Hop Paragraph Retrieval for Open-Domain Question Answering
没有胡子的猫Asimov
07-10 288
Multi-Hop Paragraph Retrieval for Open-Domain Question Answering 论文：https://arxiv.org/abs/1906.06606 代码：https://github.com/yairf11/MUPPET 任务 多跳开放域问题回答(QA)任务，需要同时进行文本推理和高效搜索。本文提出了一种检索多个支持段落的方法，这些段落嵌套在一个庞大的，包含回答一个给定问题的必要证据的知识库中。 方法（模型） 本文提出的方法通过形成一个问题和段落的联
Multi-Hop Paragraph Retrieval for Open-Domain Question Answering
Forlogenの解忧杂货铺
12-25 996
ACL 2019 Multi-Hop Paragraph Retrieval for Open-Domain Question Answering github Question Answering问题粗略的可以分为两类： Reading Comprehension，RC：模型需要根据给定的问题和对应的输入文档找出答案所在，而且根据问题所对应文档的数目可分为sigle-hop reasoning...
论文阅读笔记----《Multi-Hop Paragraph Retrieval for Open-Domain Question Answering》
ray_paul1的博客
04-17 574
这篇文章是针对开放域的多跳问题，通过文本迭代检索的方式得到答案。
HotpotQA数据集探索与使用
weixin_43856210的博客
08-14 2530
单个样本组成结构
使用HotpotQA数据集评估查询引擎的准确性
qq_29929123的博客
08-05 585
在AI技术领域，评估模型的性能是非常重要的一部分。在这篇文章中，我们将介绍如何使用HotpotQA数据集评估查询引擎的性能。我们将使用LlamaIndex库来完成这一任务，并展示如何使用中专API地址进行调用。
深入探索 HotPotQA 的智能问答系统
步子哥的博客
08-31 1346
在当今这个信息爆炸的时代，如何从海量数据中高效提取有用信息已经成为了一个亟待解决的问题。HotPotQA 作为一个多跳推理问答数据集，不仅测试了模型的推理能力，还考验了其对不同信息源的整合能力。本文将深入探讨 HotPotQA 的智能问答系统，特别是如何利用模型生成查询、检索信息并最终生成答案的过程。
探索多元解释的多跳问答：HotpotQA项目解析
gitblog_00945的博客
08-08 447
探索多元解释的多跳问答：HotpotQA项目解析 hotpot项目地址:https://gitcode.com/gh_mirrors/ho/hotpot 在信息爆炸的时代，我们面对的问题往往需要从多个来源整合答案，这就是多跳问答的核心。而HotpotQA开源项目正是这样一个专注于提供多样性和可解释性的多跳问答数据集，它结合了深度学习和自然语言处理，帮助我们构建更加智能的问答系统。 项目简介 Ho...
Learning a Deep ConvNet for Multi-label Classification with Partial Labels代码浮现
06-01
好的，以下是使用PyTorch实现 "Learning a Deep ConvNet for Multi-label Classification with Partial Labels" 论文的示例代码。 ```python import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader from torchvision.transforms import transforms from sklearn.metrics import f1_score from dataset import CustomDataset from model import ConvNet # 设置随机数种子，保证结果可重复 torch.manual_seed(2022) # 定义超参数 epochs = 50 batch_size = 128 learning_rate = 0.001 weight_decay = 0.0001 num_classes = 20 num_labels = 3 # 定义数据预处理 transform = transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)) ]) # 加载数据集 train_dataset = CustomDataset(root='./data', split='train', transform=transform) train_loader = DataLoader(train_dataset, batch_size=batch_size, shuffle=True, num_workers=2) test_dataset = CustomDataset(root='./data', split='test', transform=transform) test_loader = DataLoader(test_dataset, batch_size=batch_size, shuffle=False, num_workers=2) # 定义模型 model = ConvNet(num_classes=num_classes, num_labels=num_labels) # 定义损失函数和优化器 criterion = nn.BCEWithLogitsLoss() optimizer = optim.Adam(model.parameters(), lr=learning_rate, weight_decay=weight_decay) # 训练模型 for epoch in range(epochs): # 训练阶段 model.train() running_loss = 0.0 for i, data in enumerate(train_loader): inputs, labels = data optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() running_loss += loss.item() train_loss = running_loss / len(train_loader) # 测试阶段 model.eval() y_true, y_pred = [], [] with torch.no_grad(): for data in test_loader: inputs, labels = data outputs = model(inputs) predicted_labels = torch.round(torch.sigmoid(outputs)) y_true.extend(labels.cpu().numpy()) y_pred.extend(predicted_labels.cpu().numpy()) f1 = f1_score(y_true, y_pred, average='macro') print('[Epoch %d] Train Loss: %.3f, Test F1: %.3f' % (epoch + 1, train_loss, f1)) ``` `CustomDataset` 和 `ConvNet` 分别是数据集类和模型类，需要根据您的具体情况进行实现。在训练阶段，使用 `nn.BCEWithLogitsLoss()` 作为损失函数进行优化。在测试阶段，使用 `sklearn.metrics.f1_score()` 计算 F1 值作为模型评估指标。 希望以上示例代码对您有所帮助！
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

没有胡子的猫

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值