ACL 2020 | 基于稠密段落检索的开放域问答系统技术

最新推荐文章于 2024-11-03 07:51:17 发布
最新推荐文章于 2024-11-03 07:51:17 发布
阅读量1.2k 收藏 6
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c9Yv2cf9I06K2A9E/article/details/106435207
版权
本文提出Dense Passage Retrieval (DPR)技术，用dense encoder替代传统IR方法进行开放域问答系统的检索，通过训练改进了文章检索的准确率，尤其在top-k精度上有显著提升。实验表明，DPR在多个数据集上超越了BM25，并且展示了其在开放域QA的潜力。
摘要由CSDN通过智能技术生成

©PaperWeekly 原创 · 作者｜蔡杰

学校｜北京大学硕士生

研究方向｜QA


论文标题：Dense Passage Retrieval for Open-Domain Question Answering

论文来源：ACL 2020

论文链接：https://arxiv.org/abs/2004.04906

引言

Open-domain 的 Question Answering (QA) 一般需要先从大量的文档库中检索出一些和问题相关的文档（retrive），相关的方法有 TF-IDF 和 BM25。这篇文章发现学习 dense 的文档向量去替换 retrive 阶段的传统方法是可行的，并且本文提出的检索系统在 top-20 文章检索准确率上比 Lucene-BM25 系统高出 9%-19%。

介绍

近年来随着深度学习的兴起，目前大部分做 Open-domain 的 QA 使一般沿用两阶段框架：1）retriever 首先选择一小部分段落，其中一些包含问题的答案；2）reader 可以看到 retriever 检索到的上下文并从中识别正确的答案。

目前主流的 retriever 使用传统的信息检索（IR）方法，包括 TF-IDF unigram/bigram matching 或词权重支持 BM25 词权重的工具，如 Lucene 和 Elast

最低0.47元/天 解锁文章
PaperWeekly
关注
Dense Passage Retrieval for Open-Domain Question Answering
Young, Simple, Naive
09-25 404
开放领域 QA 中基于稠密向量的片段检索方法
基于大语言模型的智能问答系统设计与实践【系列文章】
AI架构设计之禅
03-28 3349
随着人工智能技术的迅猛发展，智能问答系统在各行各业中得到了广泛应用。无论是智能客服、在线教育，还是智能助手，问答系统都在提升用户体验和服务效率方面发挥着重要作用。然而，传统的问答系统往往依赖于规则和模板，难以应对复杂多变的用户需求，且开发成本高，维护难度大。近年来，大规模预训练语言模型（Large Language Models, LLMs）的出现，为智能问答系统带来了新的解决方案。
论文阅读笔记Dense Passage Retrieval for Open-Domain Question Answering
最新发布
mohen_777的博客
11-03 1067
在开放域的问答系统中，我们需要从大量的文本数据中搜索匹配我们想要的答案（或者学习文档的“信息知识”用于生成答案），而对每个问题都进行全文的数据“学习”是不现实的，因此往往依赖于高效的文本检索来选择候选段落，进而缩小目标范围。做法往往是将模型分为两大块，首先有一个 Document Retriever，对给定的问题 question，从所有文档中检索，检索到文档后切分成段落，然后用一个称之为 Document Reader 的模块在段落中预测答案位置并给出分数，或者是进行模型的学习生成。
Dense Passage Retrieval for Open-Domain Question Answering笔记
cyz0202的博客
10-29 1610
DPR笔记 A-背景 用于QA中的相关文档检索，改进传统检索方法BM25的部分缺点（如BM25比较依赖于token或者phrase的匹配，而DPR提高了基于语义的匹配能力），如以下QA，BM25较难找到这个answer（黄色部分）： question：“Who is the bad guy in lord of the rings?” answer: "Sala Baker is best known for portraying the villain Sauron in the Lord of th
【论文阅读】Dense Passage Retrieval for Open-Domain Question Answering
xxr233的博客
07-20 1564
Dense Passage Retrieval for Open-Domain Question Answering
ACL 2020 | 用于链接预测的开放知识图谱嵌入
Paper weekly
06-26 1968
©PaperWeekly 原创 ·作者｜舒意恒学校｜南京大学硕士生研究方向｜知识图谱当前大量的知识图谱都是通过文本直接构建的。由于当前的知识图谱构建方法的局限性，其中难免包含对同一实体...
ACL 2020 | 知识库问答的多跳复杂问题查询图生成
Paper weekly
07-14 1304
©PaperWeekly 原创 ·作者｜舒意恒学校｜南京大学硕士生研究方向｜知识图谱先前从知识库回答复杂问题的工作通常分别解决两种类型的复杂性：具有约束的问题和具有多跳关系的问题。在本...
论文浅尝 - ACL2020 | 利用知识库嵌入改进多跳 KGQA
开放知识图谱
08-14 1959
论文笔记整理：吴畏，东南大学硕士研究生。来源: ACL 2020论文地址: https://www.aclweb.org/anthology/2020.acl-main.412.pdf开...
[论文精读]Dense Passage Retrieval for Open-Domain Question Answering
m0_52911108的博客
09-15 1140
DPR通过将查询和文档嵌入到相同的语义空间，显著提高了开放域问答中的文档检索效果。相比传统的稀疏检索方法，DPR 能够更好地捕捉语义信息，并在多个开放域问答任务中实现了 SOTA（state-of-the-art）性能。DPR 的提出不仅为开放域问答系统提供了更好的文档检索方案，也为基于密集表示的检索技术在其他领域的应用提供了新的思路。
对抗性文本生成（来自于ACL 2020）
05-06
自回归文本生成模型通常侧重于局部的流畅性，在长文本生成过程中可能导致语义不一致。此外，自动生成具有相似语义的单词是具有挑战性的，而且手工编写的语言规则很难应用。
论文笔记 -《Dense Passage Retrieval for Open-Domain Question Answering》
Lisen’s blog
07-19 8198
1、摘要   开放域问题回答依赖于高效的文本检索来选择候选段落，传统的稀疏向量空间模型用的较多的有TF-IDF 或 BM25算法，但这些算法仅仅是在词的匹配上进行检索，并未考虑语义的相关性，有很大的局限性。因此，论文提出了一种新的算法来检索候选段落，称之为：DPR算法。DPR算法在 top-20段落文本检索准确率方面比 Lucene-BM25系统高出9%-19% ，这非常有利于后续的QA任务的性能表现。 2、解决问题   提高QA领域中问题段落检索准确性 3、Dense Passage Retriever
信息检索（二）：Dense Passage Retrieval for Open-Domain Question Answering
zhuzaiyebol的博客
02-24 1574
1）开放域问答依赖于有效的段落检索来选择候选上下文，其中传统的稀疏向量空间模型（例如 TF-IDF 或 BM25）是事实上的方法2）在这项工作中，我们证明检索实际上可以仅使用密集表示来实现，其中嵌入是通过简单的双编码器框架从少量问题和段落中学习的3）当在广泛的开放域 QA 数据集上进行评估时，我们的密集检索器在前 20 个段落检索准确度方面绝对优于强大的 LuceneBM25 系统 9%-19%，并帮助我们的端到端 QA 系统建立多个开放域 QA 基准的最新技术。
DPR-Dense Passage Retrieval for Open-Domain Question Answering 论文阅读
谁谓荼苦，其甘如荠
01-31 1673
开放域的问答依赖于准确地文档召回。传统做法，通常依赖于TF-IDF或BM25这类方法。在本篇论文中，作者提出一种仅使用深度语义向量的方法进行召回，而这个文档的语义向量，即来自于简单的对偶encoder框架（说的这么玄乎，其实就是俩一样的BERT-encoder，分别处理query和doc），本文提出的模型框架，面对top20文档召回的准确率问题，相较于强大的Lucene-BM25，有至多9%~19%的效果提升，这帮助我们得到了一个全新的、端到端的sota QA系统。 论文链接：https://arxiv.
【自然语言处理】【向量检索】面向开放域稠密检索的多视角文档表示学习
bqw的博客
05-26 992
面向开发域稠密检索的多视角文档表示学习 《Multi-View Document Representation Learning for Open-Domain Dense Retrieval》 论文地址：https://arxiv.org/pdf/2203.08372.pdf 一、简介 ​ 过去几年里，随着预训练语言模型的进步，稠密检索已经成为开发域文本检索的重要且有效的方法。一个典型的稠密检索通常会采用一个双编码器架构来将query和document编码为单个低维向量，并基于它们的表示来计算相关分数。
RocketQA:段落检索
chenmingwei000的博客
10-18 477
利用其他gpu的passage经过模型获取的embedding，作为本次的负样本；如果是单个gpu训练则使用折中的方式，以累积的方式来实现一个正利的question见多个负样本；d.用收集的新问题利用交互模型去预测新的标签数据，只选择置信度较高的作为新的训练数据；首先用一个训练好的交互模型，去除非常像“假负例”的样本--f1，论文中说交互模型一般都比双塔模型效果要好；（1）：采用夸gpu的负样本增强功能取训练模型，来增加模型的对比。（3）利用cross-模型（交互模型）对无标签数据打标签，数据增强；
问答系统的文段检索
qq_47537678的博客
03-20 1547
开放领域问答的一个重要方法：检索器 + 阅读器模型。其中，检索器负责从海量文档中检索相关段落。 本文主要介绍关于检索器的内容 Open-domain 的 Question Answering (QA) 一般需要先从大量的文档库中检索出一些和问题相关的文档（retrive），相关的方法有 TF-IDF 和 BM25。 文章目录前言TF-IDF 和 BM25实现的目标效果当前思路具体实现当前问题预期效果 前言 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了
Multi-Hop Paragraph Retrieval for Open-Domain Question Answering
Forlogenの解忧杂货铺
12-25 979
ACL 2019 Multi-Hop Paragraph Retrieval for Open-Domain Question Answering github Question Answering问题粗略的可以分为两类： Reading Comprehension，RC：模型需要根据给定的问题和对应的输入文档找出答案所在，而且根据问题所对应文档的数目可分为sigle-hop reasoning...
Oracle9i全文检索技术详解：构建强大文档管理系统
Oracle9i的全文检索技术在开发者网络Oracle教程中被详细介绍，它是智能信息管理的关键技术之一。Oracle Text作为Oracle9i的核心组件，为用户提供强大的全文检索功能，允许用户在Oracle9i数据库环境中构建复杂的文档...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值
>