阿里：强化学习提升LLM搜索能力

📖标题：ZEROSEARCH: Incentivize the Search Capability of LLMs without Searching
🌐来源：arXiv, 2505.04588

🌟摘要

🔸有效的信息搜索对于提高大型语言模型（LLM）的推理和生成能力至关重要。最近的研究探索了使用强化学习（RL）通过与现实世界环境中的实时搜索引擎交互来提高LLM的搜索能力。虽然这些方法显示出有希望的结果，但它们面临着两个主要挑战：（1）不受控制的文档质量：搜索引擎返回的文档质量往往是不可预测的，给训练过程带来了噪音和不稳定性。（2）API成本过高：RL培训需要频繁推出，可能涉及数十万次搜索请求，这会导致API大量支出，并严重限制可扩展性。
🔸为了应对这些挑战，我们引入了ZEROSEARCH，这是一个强化学习框架，可以在不与真实搜索引擎交互的情况下激励LLM的搜索能力。我们的方法从轻量级的监督微调开始，将LLM转换为一个检索模块，该模块能够根据查询生成相关和嘈杂的文档。在强化学习训练中，我们采用了一种基于课程的推出策略，该策略会逐步降低生成文档的质量，通过将模型暴露在越来越具有挑战性的检索场景中，逐步激发模型的推理能力。
🔸大量实验表明，ZEROSEARCH使用3B LLM作为检索模块，有效地激励了LLM的搜索能力。值得注意的是，7B检索模块的性能与真实搜索引擎相当，而14B检索模块甚至超过了它。此外，它在各种参数大小的基础和指令调优模型上都有很好的泛化能力，并且与各种RL算法兼容。项目在https://alibaba-nlp.github.io/ZeroSearch/

🛎️文章简介

🔸研究问题：如何在不依赖真实搜索引擎的情况下，提升大语言模型（LLM）的搜索能力？
🔸主要贡献：论文提出了一种名为ZEROSEARCH的强化学习框架，通过模拟搜索引擎来增强LLM的搜索策略，避免了与真实搜索引擎交互带来的成本和复杂性。

📝重点思路

🔸提出了一种强化学习框架，利用LLM模拟搜索引擎，优化其搜索策略。
🔸通过轻量级的监督微调（SFT），将LLM转变为能够生成相关和噪声文档的检索模块。
🔸引入课程学习机制，逐渐增加检索场景的难度，帮助模型掌握更复杂的推理能力。
🔸设计了一种基于F1分数的奖励机制，以平衡精确度和召回率，避免模型奖励黑客行为。
🔸ZEROSEARCH与多种强化学习算法兼容，包括PPO、GRPO和Reinforce++。

🔎分析总结

🔸实验结果表明，ZEROSEARCH在各类数据集上表现优于依赖真实搜索引擎的方法，证明了其有效性。
🔸ZEROSEARCH展示了良好的可扩展性，随着模型参数的增加，性能持续提升。
🔸课程学习机制的引入有效提升了模型的推理能力，使得训练过程更加平稳。
🔸与真实搜索引擎相比，ZEROSEARCH能够更好地控制生成文档的质量，从而改善训练效果。

💡个人观点

论文的核心在于利用LLM生成文档，从而模拟真实搜索引擎来提升搜索能力。

🧩附录