翻译模型用于Query改写

最新推荐文章于 2025-06-28 21:01:39 发布
最新推荐文章于 2025-06-28 21:01:39 发布
阅读量2.6k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： 机器学习与自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/haimizhao/article/details/78029292
本文介绍了一种利用单语种统计机器翻译进行查询重写的方法，该方法可以扩展查询并解决歧义问题。通过对有点击记录的查询-文档对进行处理，将查询与文档间的对齐关系用于查询的扩展，同时采用特定技巧减少噪音，并通过专门针对查询训练的语言模型确保扩展后的短语更接近查询而非文档。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

简述

总的来讲，就是将有点击的Query-Document(摘要)看成源语言和目标语言，用翻译模型计算二者的短语与短语之间的对齐关系，扩展Query的同时起到消歧的作用。

文档名称：Query Rewriting using Monolingual Statistical Machine Translation

技巧

由于Query与文档之间，一般来讲并非严格对齐，需要对翻译模型作一些特别的设置，来防止过多噪音，其中包括：

1、调高某词翻译为空的参数

2、训练过程中，当且仅当一个短语，在Query到文档的对齐结果，与文档到Query结果一致的情况下，才调整其对齐关系

语言模型仅通过Query训练，使得扩展后的短语，看起来更像一个Query而不是文档。

应用

取best-N之后，原始Query中的词，会各自扩展出数个同义词，且扩展出的每个路径，理论上都符合语言模型，逻辑如所示：

基于反馈的Query改写：你说过的，我才最懂
u014257192的专栏
12-30 2004
​一、前言 本文对之前做过一段时间的Query改写（纠错，本文不严格区分这两种叫法）做一些总结，算法原理可以参考亚马逊的这篇论文：Feedback-Based Self-Learning in Large-Scale Conversational AI Agents。 二、方法 以前做Query纠错的一些通用思路是：基于大规模的线上日志训练一个相对置信的语言模型，基于相似度、编辑距离等方式挖掘一批高频词汇改写对，譬如说对于“伴奏兄弟”-->“半吨兄弟”这么一个改写对，原始ASR识别后的query
Query Rewrite —— 基于大模型的query扩展改写（基于思维链），召回提升3%
Angus
02-19 6724
查询扩展是一种广泛应用于提高搜索系统召回率的技术。在本文中，我们提出了一种利用大型语言模型（llm）的生成能力的查询扩展方法。与传统的查询扩展方法，如伪相关反馈（PRF），它依赖于检索一组好的伪相关文档来扩展查询不同，我们依赖于LLM的生成和创造性能力，并利用模型中固有的知识。我们研究了各种不同的提示，包括零射击、少射击和思维链（CoT）。我们发现CoT提示对于查询扩展特别有用，因为这些提示指示模型逐步分解查询，并可以提供大量与原始查询相关的术语。
query语义改写
weixin_33835103的博客
02-13 2330
1. 问题背景 　　商品检索的主要的问题还是在于用户query和商品描述之间存在GAP，特别是中长尾query。把问题分成以下几种类型： 多种描述：划痕笔/补漆笔/修补笔/点漆笔 信息冗余: 冰箱温控器温度控制==冰箱温控器 属性检索： 118冰箱、60寸液晶电视机4k高清智能60曲面 宽泛意图： 超美吊灯、大容量冰箱 2.所做工作 　　quer...
【大模型】Query 改写常见Prompt 模板
最新发布
weixin_41645791的博客
06-28 2671
本文介绍了企业级Query改写技术的核心应用场景和常见Prompt模板，包含5种典型测试用例（拼写纠错、上下文补全、术语替换、多义词消歧、专业查询）来验证改写效果。提供了4种中英对照的Prompt模板：简洁零样本重写、前缀式调用、提示增强、结合RAG的生成式改写，并附有Python代码示例。重点展示了如何通过多样化并行改写和语义相似度排序来提升检索性能，适用于RAG应用和大模型问答系统，帮助开发者实现高召回率和高精度的查询改写功能。
Query Rewrite —— 基于大模型的query扩展改写，召回提升3%-15%
Angus
02-18 3132
本文介绍了一种简单而有效的查询扩展方法。通过大语言模型（LLM）的小样本提示生成答案，然后和原始query进行拼接，作为新的query。实验结果表明query2doc 通过以下方式提高了 BM25 的性能3% 到 15%。
Query改写笔记
hxl
04-12 1997
提出的前提 用户搜索query时，搜索系统一般会先对query进行分词，如果query分词的term命中倒排索引，则相应的doc即可被召回。 这种方法简单有效，一般情况下相对准确，但也有明显的不足： 相同的意图往往有不同的query表达方式，仅依靠字面分词匹配，会损失一定的召回。 在候选量有限的情况下非常容易出现空结果或少召回的情况。电商领域中常见的关键词堆砌问题虽然可以缓解少召回的问题，但召回结果往往出现语义漂移； 搜索系统有非常多的方法解决上述问题，比较典型的包括：多粒度分词增加索引命中概率、语义向量.
大模型驱动的Query改写探索：PRF技术与论文解析
xziyuan的博客
07-31 550
本文介绍了一篇典型的 PRF （）思路的论文，用于利用LLM来做query改写，提升召回率，召回效果。
大模型实战——基于langchain实现AdvanceRAG（附完整源代码、包括Query改写、Prompt、Reranker重排）
weixin_63866037的博客
01-08 1320
通过本文，我们详细介绍了AdvanceRAG的工作流程，包括Query改写、使用集成检索器进行文档检索、通过CrossEncoder进行文档重排以及最终使用LLM生成回答。这一流程展示了如何利用先进的自然语言处理技术，实现高效、准确的信息检索与回答生成。希望本文能帮助你更好地理解并应用AdvanceRAG技术，解决实际的自然语言处理任务。希望大家喜欢，我们下篇博客再见！
浅析Query改写的应用场景、原理与流程
qq_43350218的博客
01-19 1153
Query改写在传统搜索引擎、基于 LLM 的 Agent 系统、RAG 知识库系统等场景中均有应用，在传统搜索引擎中可提升搜索结果相关性与准确性，如进行查询扩展和放宽；在基于 LLM 的 Agent 系统中应用更灵活智能，包括上下文理解和复杂查询处理；在 RAG 系统中是提升信息检索效率的关键，可进行多查询生成和知识增强。其应用原理包括语义理解、上下文利用和反馈机制，具体流程涵盖用户输入分析、查询优化、上下文整合、执行检索和结果反馈等步骤，能有效提升搜索引擎和智能 Agent 系统性能，使用户获得更准确相
query怎么改写，才能实现高质量的知识问答系统
keyboard专栏
08-02 951
为了实现高质量的知识问答系统，query改写需要综合利用多种技术，确保改写后的查询更具语义性、准确性和完整性。
美团搜索——基于用户Session的Query改写
我是药老的博客
06-01 1562
美团的搜索引擎主要是对店铺的主店名称，分店名称，地址，推荐菜，商品等进行分词，然后进行倒排索引。用户在搜索时会使用不同的Query去找到想要的结果，但用户的query与索引的内容可能存在差异导致无法召回，比如用户在搜索“早餐”，那"一品粥铺"、"永和豆浆"这些肯定出不来，这样会流失掉很多用户需求。那美团是怎么实现的呢？我们今天就来讲讲美团的Query改写算法。 在搜索引擎领域，用户Session是指用户在同一个时间段的连续操作，可以基于用户Session构建Session Embedding，针对同一个S
查询理解(Query Understanding)—查询改写总结
技术的点点滴滴
09-22 4020
本文翻译的原文：https://queryunderstanding.com/query-rewriting-an-overview-d7916eb94b83 查询改写（Query Rewriting）的总结 目前为止，我们只是专注于字符级别和字块级别的查询理解，现在我们转向对实体和查询本身的理解。在这个级别上，最强大的查询理解技术就是我们称之为查询改写的一大类策略。查询改写会自动转换和改写用...
淘宝主搜：大模型在长尾Query改写召回上的实践
Kaiyuan_sjtu的博客
01-08 2612
作者|李国趸整理|NewBeeNLPhttps://zhuanlan.zhihu.com/p/675421157后台留言『交流』，加入 NewBee讨论组大家好，今天分享一篇阿里淘宝主搜将大语言模型LLM和搜索query理解结合应用的工作。论文：Large Language Model based Long-tail Query Rewriting in Taobao Search公司：...
查询重写（Query Rewriting）
xycxycooo的博客
07-24 1065
查询重写方法的核心思想是通过重新表述原始查询，使其更符合检索系统的理解和处理方式。这通常涉及使用大型语言模型（LLMs）或其他生成模型来生成新的查询，这些新查询包含了更明确和具体的检索需求。
Query Rewrite —— 基于大模型的query扩展改写，综合考虑上下文信息（人大论文）
Angus
02-19 6020
在session上下文中，捕获用户的搜索意图，是一件较为复杂和困难的事情。一起看一下人大的这篇论文。论文中提出了一个简单而有效的提示框架，称为LLM4CS，以利用LLM作为搜索意图解释器来促进会话搜索。具体来说，我们首先提示LLM在多个视角下生成较短的查询重写和较长的假设响应，然后将这些生成的内容聚合成一个集成的表示，以稳健地表示用户的真实搜索意图。
RAG之query改写优化
qq_30921029的博客
04-08 3275
RAG系统涉及到对用户query做检索召回，好的query更有利于召回正确的结果。所以query analysis要做的就是对输入query做一个改写，让其语义更完善或格式更清晰。基于query改写好的文档如下，然后我们可以分别基于query和文档做检索。
LLM之RAG实战（二十八）| 探索RAG query重写
wshzd的博客
03-08 3596
2.将生成的假设文档输入编码器，将其映射到密集向量f(dk)，编码器具有过滤功能，过滤掉假设文档中的噪声。在密集检索中，新查询表示为q+，是原始查询（q）和伪文档（d'）的简单级联，由[SEP]分隔：q+=concat（q，[SEP]，d'）。我们可以看到，通过将原始查询“后退”到更抽象的问题，并使用抽象查询和原始查询进行检索，LLM提高了其遵循正确推理路径找到解决方案的能力。此外，还有一些方法，如查询路由、将查询分解为多个子问题等，它们不属于查询重写，但它们是预检索方法，这些方法将来将有机会引入。
用十篇论文聊聊关于使用LLM做query Rewrite的问题
热门推荐
Angus
02-21 1万+
本文介绍了query改写。介绍了七种利用LLM进行query改写方式。包含了10余篇论文，论文有的出自微软、谷歌等大厂之手，还有北大，人大等高校。质量有所保障，对比了不同的query改写的效果。
关于query改写指令微调的数据
01-14
### Query 改写指令微调的数据集示例 对于 query 改写指令微调的任务，准备高质量的训练数据至关重要。具体到 `law_legal_data.csv` 文件中的法律领域数据，为了适应 T5 模型的要求，需遵循特定的预处理步骤[^3]。 #### 数据字段说明 假设该 CSV 文件包含如下主要字段： - **original_query**: 用户原始查询文本。 - **rewritten_query**: 经过人工标注或专家审核后的优化查询版本。 - **context**: 查询所处的具体上下文环境描述（可选）。 - **domain_specific_terms**: 领域特有的术语列表（可选），有助于模型理解行业背景。 #### 示例记录展示 以下是几条经过整理可用于 T5 训练的数据样例： | original_query | rewritten_query | context | |------------|---------------------------------| | 如何申请专利 | 请问如何在中国提交发明专利申请 | 关于知识产权保护 | | 合同违约金过高怎么办 | 如果合同约定的违约赔偿金额不合理应怎样解决 | 商事合同纠纷 | | 劳动仲裁流程有哪些 | 解释劳动争议案件中提起仲裁的一般程序 | 劳资关系 | 针对上述表格内容，在实际操作过程中还需要考虑更多因素如去除噪声、平衡类别分布等以提升最终效果。 ```python import pandas as pd # 加载CSV文件至DataFrame对象 df = pd.read_csv('path/to/law_legal_data.csv') # 查看前五行数据概览 print(df.head()) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值