[论文笔记]A Scalable Neural Shortlisting-Reranking Approach for Large-Scale Domain Classification in NLU

最新推荐文章于 2024-10-05 09:59:27 发布
最新推荐文章于 2024-10-05 09:59:27 发布
阅读量344 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42476185/article/details/80779379
版权

这篇论文提出一种大规模训练的智能对话模型。模型有两层结构，第一层(Shortlisting)用来选出几个几率最大的domain，并判别intent，第二层(Hypothesis Reranker)用历史的记录，找出几率最大的intent。

Shortlisting模型，主要是用character和word-level的资讯，放入LSTM中，去选出前k几率大的domain。再分别依据不同的domain去判断intent。








Hypothesis Reranker模型，也是利用LSTM来计算。这边的关键在，hypothesis representation上，文章利用NLU interpretation, user preferences 和 domain index来表示，其中user preferences便是使用者的历史资讯。



weixin_42476185
关注
论文阅读：Neural Ranking Models with Multiple Document Fields
RUCblake的博客
08-26 965
本文探讨一个基于多源文档片段的排序模型，所谓多源文档片段与传统的query对应document的区别在于，document不仅仅包含文档内容和文档标题，还包括一些其他信息，比如相关链接的文档内容、引导点击对应文档的query（clicked query），如何将这些信息都利用上就成为了一个新的问题，文章提出了一个解决该问题的模型。 首先，模型的整体思路是将query和document 分别表示成...
Reranker:使用深度语言模型构建文本重审器
05-26
重整器 Reranker是一种轻量级，有效且高效的软件包，用于在信息检索（IR），问题解答（QA）和许多其他自然语言处理（NLP）管道中训练和部署深度语言模型Reranker。 培训过程遵循我们的ECIR论文使用局部对比模拟（LCE）损失。 Reranker说话的拥抱脸 :hugging_face: 语！ 这意味着，一旦将所有最新的预训练模型移植到HF变压器，您就可以立即获得它们。 您还将获得熟悉的模型和培训师界面。 艺术表演舞台。 Reranker向MS MARCO文档排行榜提交了两份意见书。 每个人都获得了第一名，推进了SOTA！ 日期 提交名称 开发人员MRR @ 100 评估MRR @ 100 2021/01/20 LCE损失+ HDCT（整体） 0.464 0.405 2020/09/09 HDCT top100 +基于BERT的FirstP（单个） 0.434 0.382 特征
[论文笔记] A Scalable Neural Shortlisting-Reranking Approach for LargeScale Domain Classification in NLU
weixin_42476185的博客
06-22 148
这篇论文主要提出一个可以大规模训练的智能对话系统模型，作者是Alexa的团队。传统的智能系统，受限于模型，只能训练少量的domain和intent，但在Alexa, Google Assistant, 腾讯云小微等智能助手，需要解决的domain可能有数千种，如何大规模的训练，就是个很好的研究议题了。...
一文带你了解RAG(检索增强生成) | 概念理论介绍+ 代码实操
python122_的博客
08-23 1390
RAG（Retrieval Augmented Generation, 检索增强生成）是一种技术框架，其核心在于当 LLM 面对解答问题或创作文本任务时，首先会在大规模文档库中搜索并筛选出与任务紧密相关的素材，继而依据这些素材精准指导后续的回答生成或文本构造过程，旨在通过此种方式提升模型输出的准确性和可靠性。RAG 技术架构图介绍：富文本 主要存储于 txt 文件中，因为排版比较整洁，所以获取方式比较简单【版面分析——富文本txt读取】
Reranking for neural semantic parsing论文阅读
蜜汁菠萝头
05-17 242
Abstract 这篇文章也是关于semantic parser的文章，以往一些基于深度学习的semantic parser取得了很大的进步，但是如果手动去验证这些生成的程序就会发现有很多的问题，比如生成的程序不协调，不合适。这篇文章提出的reranker对n个最好的predicted MRs做排序，也就是利用ranking方法做优化。rank的优化方法的文章之前有一篇NEURAL PROGRAM PLANNER FOR STRUCTURED PREDICTIONS Jacob有点像，也是用ranking做
Reranking 论文笔记
ArtoriaYe的博客
12-23 631
Reranking论文笔记Reranking论文笔记第一章 Abstract第二章 Related Work第三章 Proposed Aproach一、Problem Definition二、K-reciprocal Nearest NeighborsJaccard DistanceLocal Query ExpansionFinal DistanceComplexity Analysis Rer...
Power Mean SVM for Large Scale Visual Classification
12-29
SVM solvers in large scale visual classification tasks, is presented. PmSVM also achieves higher accuracies. A scalable learning method for large vision problems, e.g., with millions of examples or ...
Scalable protocol for cross-domain group password-based authenticated key exchange
02-06
This paper proposes a novel approach for designing a cross-domain group PAKE protocol, that primarily handles with the setting of multi-participant in the multi-domain. Moreover, our protocol is ...
Join-Idle-Queue- A Novel Load Balancing Algorithm for Dynamically Scalable Web Services - October 1, 2011 (idleq)-计算机科学
04-22
Join-Idle-Queue: A Novel Load Balancing Algorithmfor Dynamically Scalable Web ServicesYi Lua, Qiaomin Xiea, Gabriel Kliotb, Alan Gellerb, James R. Larusb, Albert GreenbergcaDepartment of Electrical ...
提高 RAG 应用准确度，时下流行的 Reranker 了解一下？
ZILLIZ
04-17 5016
这是因为重排过程需要对每个候选文档进行高成本的模型推理，不同于前者可以每次查询都复用离线索引的结果，使用 Reranker 需要每次在线查询都进行推理，结果无法复用，带来重复的开销。虽然 Reranker 的使用成本远高于单纯使用向量检索的成本，但它仍然比使用 LLM 为同等数量文档生成答案的成本要低。在 RAG 架构中，Reranker 可以筛选向量搜索的初步结果，丢弃掉与查询相关性低的文档，从而有效防止 LLM 处理无关信息，相比于将向量搜索返回的结果全部送进 LLM 可大大减少生成部分的耗时和成本。
【论文】长文档重排
elf1110的博客
08-02 471
将模块化重排推广到长文档重排，帮助查询交互文档的每一个段落，充分获取文档信息。
RAG优化神器：rerankers重新排名模型的终极方案，提供轻量级统一API
m0_59235945的博客
09-18 1175
Reranker 是对初步检索出的候选文档集进行重新排序的模型或算法。它在初始检索（通常基于简单的匹配算法，如 TF-IDF、BM25 或 Dense Embedding）之后，对结果进行二次处理，确保最相关的内容排在前面。Reranker 通常利用更复杂的语义理解和深度模型，比如 BERT 或其他 Transformer 模型，来更好地衡量候选文档与查询之间的相关性。
Retrieve, Read, Rerank: Towards End-to-End Multi-Document Reading Comprehension
Forlogenの解忧杂货铺
12-25 5943
ACL 2019 Retrieve, Read, Rerank: Towards End-to-End Multi-Document Reading Comprehension github 本文所关注的是阅读理解中的多文档输入问题，即如何根据问题在给定的多个输入文档中找到对应答案的区域。解决此类问题的一种方法便是retriever -> reader -> reranker的pipe...
RAG 04：重排序（Re-ranking）技术探讨
DEVELOPERAA的博客
05-14 4711
重排序（Re-ranking）技术在检索增强生成（Retrieval Augmented Generation，RAG）全流程中起着至关重要的作用。在最原始的 RAG 方法中，可能会检索到大量的上下文，但并非所有上下文都与问题相关。
AI 人工智能 ToolRerank：一种自适应和层次感知的重排方法，提高大模型使用大量工具的能力！
人工智能讲师分享前沿技术
03-17 175
对于未见工具，即在训练数据中未出现过的工具，自适应截断会在检索结果的较晚位置进行截断，因为对于这些工具，提供更多的候选结果可以提高检索性能。对于已见工具，即在训练数据中出现过的工具，自适应截断会在检索结果的较早位置进行截断，因为对于这些工具，重排器在较少的候选结果中表现更好。根据工具集合X，ToolRerank将重排结果R分为两个列表F1和F2，F1包含属于X中工具的API，F2包含其他API。对于多工具查询，ToolRerank希望检索结果涵盖不同工具，以提供多样化的API。
使用大模型检索增强 Rerank 模型，检索效果提升太明显了！
2201_75499313的博客
01-28 5021
RAG 是一种结合了信息检索和文本生成的语言模型技术。简单来说，当你向大语言模型（LLM）提出一个问题时，RAG 首先会在一个大型的文档集合中寻找相关信息，然后再基于这些信息生成回答。Rerank 的工作就像是一个智能的筛选器，当 RAG 从文档集合中检索到多个文档时，这些文档可能与你的问题相关度各不相同。有些文档可能非常贴切，而有些则可能只是稍微相关或者甚至是不相关的。这时，Rerank 的任务就是评估这些文档的相关性，然后对它们进行重新排序。它会把那些最有可能提供准确、相关回答的文档排在前面。
【AI知识点】重排序器（Re-ranker）
最新发布
虾米记的博客
10-05 519
重排序器（Re-ranker） 是信息检索系统中用于对初步检索结果进行进一步排序的关键组件。它通过更复杂的模型（如机器学习、深度学习或基于规则的模型）对初步结果进行优化，确保用户得到更精确的结果。重排序器广泛应用于搜索引擎、问答系统、推荐系统和广告系统中，能够有效提高系统的相关性和用户满意度。
ISSCC2021: Scalable In-Memory Computing for Deep Neural Network Processors
"ISSCC2021_Session_15V_Compute-in-Memory Processors for Deep Neural Networks.pdf" 本文档是2021年国际固态电路会议（ISSCC）第15场会议的报告，重点讨论了计算内存处理器在深度神经网络（DNN）中的应用。会议...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值