人大：优化工具文档提升LLM工具使用

📖标题：From Exploration to Mastery: Enabling LLMs to Master Tools via Self-Driven Interactions
🌐来源：arXiv, 2410.08197

摘要

🔸工具学习使大型语言模型（LLM）能够通过调用工具与外部环境进行交互，这是一种有效的策略，可以减轻其预训练数据中固有的局限性。在这个过程中，工具文档通过为LLM提供使用说明发挥着至关重要的作用，从而促进了工具的有效利用。
🔸本文主要探讨了由于现有以人为中心的工具文档中固有的不足和不准确，弥合LLM和外部工具之间理解差距的关键挑战。我们提出了一个新的框架DRAFT，旨在通过分析LLM与外部工具交互产生的反馈和轨迹，动态改进工具文档。这种方法论以创新的试错法为中心，包括三个不同的学习阶段：经验收集、从经验中学习和文档重写，以迭代地增强工具文档。通过实施多样性促进探索策略来确保探索多样性，并实施工具自适应终止机制来防止过拟合，同时提高效率，从而进一步优化了这一过程。
🔸对多个数据集的广泛实验表明，DRAFT的迭代式、基于反馈的改进显著提高了文档质量，促进了LLM对工具的更深入理解和更有效利用。值得注意的是，我们的分析表明，通过我们的方法改进的工具文档展示了强大的跨模型泛化能力。

🛎️文章简介

🔸研究问题：现有的工具文档主要为人类设计，不适合大语言模型（LLM）使用，导致LLM难以有效利用这些工具。
🔸主要贡献：论文提出了一种名为DRAFT的框架，通过动态调整和优化工具文档，显著提升了LLM理解和使用外部工具的能力。

📝重点思路

🔺相关工作

🔸工具学习：最近的研究强调了LLM利用外部工具解决复杂问题的潜力，分为基于调优的方法和免调优的方法。
🔸从反馈中学习：LLM可以通过自我纠正来改善初始反应，反馈来源于人类、批判模型和外部工具等，但在没有外部反馈的情况下完全依靠自我纠正，可能会产生最小的改进或使性能恶化。

🔺论文方案

🔸经验收集： 通过模拟多种工具使用场景，收集LLM与工具交互的数据，揭示当前文档中的误解和限制。
🔸经验学习： 分析收集到的数据，识别工具使用中的实际与预期差异，找出文档中的模糊或不准确之处，并提出针对性的改进建议。
🔸文档重写： 将分析结果整合到文档中，更新和优化文档，使其更清晰地反映工具的功能。
🔸优化策略：DRAFT采用了多样化的探索策略和工具自适应终止机制，以提高探索的广度和迭代过程的效率。

🔎分析总结

🔸DRAFT显著提高了工具文档的质量，并增强了LLM使用外部工具的能力。
🔸经过DRAFT修改的工具文档不仅帮助LLM更好地理解和使用工具，还提高了人类对工具的理解。
🔸人类评估显示，DRAFT修改后的文档在完整性、简洁性和准确性方面均优于原始文档。

💡个人观点

论文的核心是模拟人类掌握工具使用的过程，自动化地为LLM创建适配的工具文档。

附录