无监督re-ranker,Improving Passage Retrieval with Zero-Shot Question Generation

已于 2024-07-11 23:10:29 修改
阅读量843 收藏
点赞数
分类专栏： 论文阅读 文章标签： 机器学习 深度学习 人工智能
于 2022-09-10 22:31:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xxr233/article/details/126800397
版权
论文介绍了UPR（无监督段落重排名）模型，该模型通过预训练语言模型进行零样本问题生成，对检索到的段落进行重新排序，提升了开放领域QA中段落检索的准确性。无需特定任务训练，适用于多种检索器和预训练模型，且在多个数据集上表现出色。
摘要由CSDN通过智能技术生成

论文：Improving Passage Retrieval with Zero-Shot Question Generation

作者：Devendra Singh Sachan1,2∗, Mike Lewis3, Mandar Joshi4, Armen Aghajanyan3, Wen-tau Yih3, Joelle Pineau1,2,3, Luke Zettlemoyer3,4 1McGill University; 2Mila - Quebec AI Institute 3Meta AI; 4University of Washington

源码：GitHub - DevSinghSachan/unsupervised-passage-reranking: Code and datasets for the paper "Improving Passage Retrieval with Zero-Shot Question Generation"

任务：re-ranking模型，改善open QA中的passage retrieval阶段

方法：使用预训练模型GPT,T5使用zero-shot手段，在候选段落后添加prompt: “Passage: { pi }. Please write a question based on this passage”,从而基于段落生成问题，并以真正的问题作为模型输入，计算基于段落生成问题token的平均概率。以此概率作

最低0.47元/天 解锁文章
Improving Passage Retrieval with Zero-Shot Question Generation
Study study is cndb gjb dx.
11-06 269
我们提出了一种简单有效的重新排序方法来提高开放式问答中的段落检索。重新排序器使用零样本问题生成模型对检索到的段落进行重新排序，该模型使用预训练的语言模型来计算以检索到的段落为条件的输入问题的概率。这种方法可以应用于任何检索方法（例如基于神经或关键字）之上，不需要任何特定领域的训练（因此有望更好地推广到数据分布变化），并在查询和段落之间提供丰富的交叉注意力（即它必须解释问题中的每个标记）。
论文浅尝 | 基于未知谓词与实体类型知识图谱的 Zero-Shot 问题生成
开放知识图谱
06-04 620
论文笔记整理：谭亦鸣，东南大学博士生，研究方向为跨语言知识图谱问答。来源：NAACL2018链接：https://www.aclweb.org/anthology/N1...
[NLG] Zero-Shot Dialog Generation with Cross-Domain Latent Actions
lwgkzl的博客
10-13 651
摘要： 简单来说，就是实现了对话生成的zero shot(零次学习)。首先在一些source domain当中学习一些domain的基本描述，希望学到的这些基本描述能够用于target domain的对话生成，其中source domain的领域和target domain完全不一样。但是属性是共同的。 主要工作： 1.提出来一种新的抽取domain 属性和描述的方法：seed...
大模型应用系列：从Ranking到Reranking
最新发布
我相信......
11-10 1028
【引子】Ranking 和Reranking又是一个NLP 处理中的传统技术，那么在大模型应用中又起到怎样的作用呢？每个搜索引擎背后都隐藏着一个至关重要却往往被忽视的组成部分——Reranking（重新排名）。那么，什么是Rerank呢？简而言之，这一过程旨在优化并调整搜索结果的顺序，使之更加精准地匹配用户的查询需求。值得注意的是，不同情况下采用的Rerank策略差异极大，因为针对每一个具体问题...
zero-shot：基于对抗生成网络的零样本学习
qq_21157073的博客
07-08 2226
视觉空间与语义空间相互生成并利用循环一致损失 Generative Dual Adversarial Network for Generalized Zero-shot Learning Generative Model with Semantic Embedding and Integrated Classifier for Generalized Zero-Shot Learning ...
【AI知识点】重排序器（Re-ranker）
AI完全体
10-05 793
重排序器（Re-ranker） 是信息检索系统中用于对初步检索结果进行进一步排序的关键组件。它通过更复杂的模型（如机器学习、深度学习或基于规则的模型）对初步结果进行优化，确保用户得到更精确的结果。重排序器广泛应用于搜索引擎、问答系统、推荐系统和广告系统中，能够有效提高系统的相关性和用户满意度。
k-ranker:K-Ranker是一种基于优先级顺序提取关键词的算法
07-09
K-Ranker K-Ranker 是一种基于优先级顺序提取关键字的算法。 注意：本文档为韩文。 K-Ranker 是一种基于优先级的关键词提取算法。 它根据拐点分为方程1/方程2，由两个方程管理，抛物线（顶点形式）图构造为二次...
php-ranker：使用phpcsphpmdphpcpd违规报告project从项目中获取GPA
01-29
什么是php-ranker？ php-ranker是基于命令行的解析器，用于解析phpmd ， phpcs和phpcpd生成的xml格式的报告文件。 通过计算所有的分数php-ranker是基于codeclimate除了从重复报告phpcpd ，因为codeclimate使用自己...
一文读懂「RAG，Retrieval-Augmented Generation」检索增强生成
女王の专属领地
01-20 9532
检索增强生成（Retrieval Augmented Generation），简称 RAG，已经成为当前最火热的LLM应用方案。它是一个为大模型提供外部知识源的概念，这使它们能够生成准确且符合上下文的答案，同时能够减少模型幻觉。知识的局限性：模型自身的知识完全源于它的训练数据，而现有的主流大模型（ChatGPT、文心一言、通义千问…）的训练集基本都是构建于网络公开的数据，对于一些实时性的、非公开的或离线的数据是无法获取到的，这部分知识也就无从具备。幻觉问题。
Reranker:使用深度语言模型构建文本重审器
05-26
重整器 Reranker是一种轻量级，有效且高效的软件包，用于在信息检索（IR），问题解答（QA）和许多其他自然语言处理（NLP）管道中训练和部署深度语言模型Reranker。 培训过程遵循我们的ECIR论文使用局部对比模拟（LCE）损失。 Reranker说话的拥抱脸 :hugging_face: 语！ 这意味着，一旦将所有最新的预训练模型移植到HF变压器，您就可以立即获得它们。 您还将获得熟悉的模型和培训师界面。 艺术表演舞台。 Reranker向MS MARCO文档排行榜提交了两份意见书。 每个人都获得了第一名，推进了SOTA！ 日期 提交名称 开发人员MRR @ 100 评估MRR @ 100 2021/01/20 LCE损失+ HDCT（整体） 0.464 0.405 2020/09/09 HDCT top100 +基于BERT的FirstP（单个） 0.434 0.382 特征
RAG优化神器：rerankers重新排名模型的终极方案，提供轻量级统一API
m0_59235945的博客
09-18 3137
Reranker 是对初步检索出的候选文档集进行重新排序的模型或算法。它在初始检索（通常基于简单的匹配算法，如 TF-IDF、BM25 或 Dense Embedding）之后，对结果进行二次处理，确保最相关的内容排在前面。Reranker 通常利用更复杂的语义理解和深度模型，比如 BERT 或其他 Transformer 模型，来更好地衡量候选文档与查询之间的相关性。
reranker:适应等级，概念证明
05-22
（有关更多信息） 改头换面 适应，概念证明。 或者：任何人都可以轻松创建新闻汇总器，而无需任何用户来为新闻文章打分吗？ 并且：我们可以对此添加评论吗？ 并且：我们能以非常非常简单的方式做到这一点吗？ 把事情简单化 只需要两个脚本：一个用于填充数据库，另一个用于生成静态HTML文件。 retriever.py ：从源中下载新文章并将其存储到数据库中。 它还会移动过期的链接，并对仍然存在的链接进行评分。 html_generator.py ： 就是这样。 安装及使用 您将需要以下Python模块：feedparser，jinja2，sqlite3，urllib2，json。 如果使用pip则可以使用--user选项在用户目录中本地安装它们： pip install --user module 。 我认为这比创建一个完整的环境要方便得多。 这也应该在共享主机上工作（我在并且像一个一样工
Top-K准确率的概念与实现（源码讲解）
qq_54708219的博客
03-09 2483
Top-K准确率的概念与实现（源码讲解）
NLP Bi-Encoder和Re-ranker(引流：Cross Encoder 交叉编码器 ReRanker)
duoyasong5907的博客
10-19 2052
如何将BI和Cross Encoder配合使用？可以先用BI-Encoder选出top 100个候选项，再用Cross-Encoder挑选最佳选项。
RAG 04：重排序（Re-ranking）技术探讨
DEVELOPERAA的博客
05-14 6890
重排序（Re-ranking）技术在检索增强生成（Retrieval Augmented Generation，RAG）全流程中起着至关重要的作用。在最原始的 RAG 方法中，可能会检索到大量的上下文，但并非所有上下文都与问题相关。
【RAG实践】Rerank，让大模型 RAG 更近一步
2301_78285120的博客
04-09 3582
近几年, 随着深度学习的发展，尤其是预训练语言模型的出现极大的推动了文本表示技术的效果, 基于预训练语言模型的文本表示模型在学术研究数据、工业实际应用中都明显优于传统的基于统计模型或者浅层神经网络的文本表示模型。本文主要关注在Rerank，本文中，Rerank可以在不牺牲准确性的情况下加速LLM的查询（实际上可能提高准确率），Rerank通过从上下文中删除不相关的节点，重新排序相关节点来实现这一点。加载数据后，基于文档对象列表（或节点列表），建设他们的index，就可以方便的检索他们。
提高 RAG 应用准确度，时下流行的 Reranker 了解一下？
ZILLIZ
04-17 5129
这是因为重排过程需要对每个候选文档进行高成本的模型推理，不同于前者可以每次查询都复用离线索引的结果，使用 Reranker 需要每次在线查询都进行推理，结果无法复用，带来重复的开销。虽然 Reranker 的使用成本远高于单纯使用向量检索的成本，但它仍然比使用 LLM 为同等数量文档生成答案的成本要低。在 RAG 架构中，Reranker 可以筛选向量搜索的初步结果，丢弃掉与查询相关性低的文档，从而有效防止 LLM 处理无关信息，相比于将向量搜索返回的结果全部送进 LLM 可大大减少生成部分的耗时和成本。
搜索准确性提升 20%，Jina Reranker 成为 RAG 优化的新标杆！
Jina AI 的博客
03-05 1834
日前，我们正式发布了 Jina Reranker(jina-reranker-v1-base-en)，专为提高搜索准确性打造。Jina Reranker 在多个权威测评中屡获领先，实验数据显示，相比简单 RAG 系统，搭载该模型的检索系统命中率提高 8%，MRR 更是飙升 33%。
开源项目：rerankers 使用指南
gitblog_00001的博客
09-10 383
开源项目：rerankers 使用指南 rerankers项目地址:https://gitcode.com/gh_mirrors/re/rerankers 1. 项目目录结构及介绍 本指南基于GitHub上的开源项目 rerankers，它提供了一个轻量级、低依赖性且统一的API来使用各种常见的重排序（reranking）和交叉编码器模型。下面是项目的基本目录结构及其简介： rerankers/...
探索K-Ranker算法：高效关键词提取的新方法
由于文档中也提到了 "k-ranker-master"，这可能是与 K-Ranker 相关的Java代码库或项目名称。尽管文件列表中未直接提供代码，但这个名称暗示了用户可以通过查看该代码库中的Java实现，来更深入地理解 K-Ranker 算法的...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值
>