谷歌：LLM无监督工具检索增强

📖标题：Re-Invoke: Tool Invocation Rewriting for Zero-Shot Tool Retrieval
🌐来源：arXiv, 2408.01875

🛎️文章简介

🔸研究问题：在零样本工具检索中，如何通过无监督检索方法提高工具检索的性能。
🔸主要贡献：论文提出了Re-Invoke方法，利用大语言模型（LLM）进行工具文档信息丰富和用户意图提取，显著提升了工具检索的性能。

📝重点思路

🔺相关工作

🔸工具检索：ReAct开创了使用上下文推理轨迹与各种工具进行交互和推理的先河，但用于LLM工具学习的工具文档检索目前尚未得到充分探索，因多数工作只是使用LLM代理来检索有限数量的工具。
🔸生成文档扩展：将相关术语（例如查询）附加到文档中可以有效地丰富稀疏检索的文档表示，能够改进搜索引擎中的检索。
🔸生成查询扩展：在密集和稀疏检索方法中，用假设信息增强用户查询是一种流行的方法。
🔸查询重写：通常用于会话搜索引擎，通过上下文学习精确理解用户的上下文搜索意图。

🔺论文方案

🔸查询生成器：用于在离线索引期间自动丰富工具文档，生成多样化的合成查询。
🔸意图提取器：用于在在线推理期间。从冗长的用户查询中提取与工具相关的意图。
🔸实现方式：两个组件通过Google Vertex AI的LLM模型实现，并使用textembedding-gecko@003模型提取密集嵌入向量。

🔎分析总结

🔸Re-Invoke方法在单工具和多工具检索任务上分别实现了20%和39%的相对nDCG@5指标提升。
🔸Re-Invoke在所有基准数据集上始终优于稀疏和密集检索基线，与BM25和Vertex AI的结合都能提升效果。
🔸查询生成器和意图提取器各自对最终检索指标有积极贡献，尤其在复杂用户查询和多工具需求场景中，意图提取器的作用更为显著。
🔸端到端性能评估显示，无监督的Re-Invoke检索器在所有基准数据集上均优于基线，表明其能有效从大量API中检索相关工具，提高下游代理行为的可靠性。

💡个人观点

论文的核心在于给工具文档增加额外查询信息并提取关键工具相关意图，实现了对大型工具集的规模化学习。

附录