【IR 论文】Google 对通过 prompt LLM 做 Query Expansion 的工作

这篇论文研究了如何利用大型语言模型进行QueryExpansion,通过多种prompt方法如CoT和Q2D,实验证明了在稀疏检索中,CoT提示能有效提高MRR和NDCG等排名指标。文章还讨论了模型大小、提示方式和局限性对性能的影响。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

论文:Query Expansion by Prompting Large Language Models
⭐⭐⭐
Google Research, arxiv:2305.03653

论文速读

之前我在论文笔记 Query2doc 中介绍了信息检索(IR)以及 Query Expansion 的相关背景知识。

本篇文章是 Google 发表的关于对 LLM 进行 prompt 来做 Query Expansion 的论文,所采取的思路与 Query2doc 相似,但侧重点不同。

论文的思路如下:

整体思路

可以看到,也是把 user query 带上 prompt 输入给 LLM,然后拼接 user query 和 LLM 响应得到 Query Expansion 的结果,将其输入给 Retrieval System 来完成检索。

其中“concat”这个拼接过程,也是为了提高 user query 的权重,把 user query 重复了 5 遍再与 LLM response 拼接,做法与 Query2doc 十分相似:

<think>好的,用户的问题是关于如何优化LLM生成的丑陋prompt。首先,我需要理解用户的具体需求。他们可能在使用LLM生成prompt时,发现结果不够美观或者不符合特定格式要求,想要改进这些生成的prompt,使其更清晰、结构更合理,或者更符合某种风格。 接下来,我要回忆相关的知识。根据用户提供的引用内容,特别是引用[1]提到的Meta-Prompt和自动化思维,可能需要考虑如何系统化地优化prompt。引用[3]中提到提示工程的意义和核心思想,以及Prompt的典型构成,这些也是关键点。用户可能希望应用这些原则来提升生成的prompt质量。 然后,分析用户可能的深层需求。用户可能不仅希望解决当前的问题,还希望建立一个可复用的流程或方法,避免每次手动调整prompt,类似于引用[1]中提到的自动化思维。因此,在回答时需要提供结构化的步骤,并可能建议工具或脚本来自动化部分流程。 现在,需要组织回答的结构。首先,明确优化目标,比如可读性、结构清晰、风格一致。然后分步骤说明如何改进,比如结构化模板、约束条件、示例化、迭代优化等。每个步骤需要结合具体的例子,比如展示优化前后的prompt对比,让用户更直观地理解。 还要考虑用户的技术背景。用户提到有计算机背景,可能对自动化工具和脚本感兴趣,因此在回答中可以建议使用Python脚本或正则表达式来批量处理prompt,提高效率。同时,引用Meta-Prompt的概念,说明如何通过高阶prompt指导优化过程。 另外,用户可能希望了解评价prompt质量的方法,比如清晰度、有效性等指标,因此在优化步骤中可以加入评估标准,帮助用户系统地评价和改进生成的prompt。 最后,需要生成相关问题,帮助用户进一步探索。比如如何自动化优化流程,如何设计评估标准,如何处理复杂任务的结构化等,这些问题可以引导用户深入学习和应用相关方法。 总结来说,回答需要结构清晰,分步骤说明优化方法,结合示例和自动化建议,引用相关文献,并生成相关问题扩展用户的思考。同时,保持语言自然,符合中文表达习惯,避免使用Markdown格式,确保用户容易理解和应用。</think>针对优化LLM生成的prompt问题,我将按照结构化步骤进行分析并提出改进方案: ### 一、明确优化目标(先验条件) 1. **可读性提升**:消除冗余符号如`[]`和`§§` 2. **结构清晰化**:建立层级分明的模块结构 3. **风格一致性**:统一术语和句式结构 4. **功能可扩展**:保留核心功能同时支持灵活扩展 ### 二、优化实施步骤 #### 步骤1:结构化模板构建 ```python # 优化前 "
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值