中科院：LLM工具调用框架TUMS

📖标题：TUMS: Enhancing Tool-use Abilities of LLM with Multi-structure Handlers
🌐来源：arXiv, 2505.08402

🌟摘要

🔸最近，大型语言模型 (LLM) 在解决广泛的 NLP 任务方面发挥着越来越重要的作用，利用它们自然语言理解和生成的能力。与外部工具的集成进一步提高了 LLM 的有效性，提供了更精确、及时和专门的响应。然而，LLM 仍然会遇到非可执行动作和不正确动作的困难，这主要归因于不正确的参数。LLM 生成参数的过程仅限于工具级别，采用粗粒度策略而不考虑各种工具的不同困难。
🔸为了解决这个问题，我们提出了 TUMS，这是一个新颖的框架，旨在通过将工具级处理转换为参数级处理来增强 LLM 的工具使用能力。具体来说，我们的框架由四个关键组件组成：（1）识别用户意图以帮助 LLM 更好地理解任务的意图的意图的意图的意图识别器； (2) 任务分解器，将复杂的任务分解为更简单的子任务，每个子任务都涉及工具调用； (3) 配备多结构处理程序的子任务处理器以生成准确的参数； (4) 执行器。
🔸我们的实证研究证明了 TUMS 框架的有效性和效率，在 ToolQA 的简单和硬基准上平均提高了 19.6% 和 50.6%，同时，我们通过消融实验证明了每个部分的主要贡献，提供了更多的见解和刺激未来对工具增强 LLM 的研究。

🛎️文章简介

🔸研究问题：大语言模型（LLM）在复杂任务中参数生成不准确和工具调用能力不足。
🔸主要贡献：论文提出了TUMS框架，通过参数级处理和多结构处理器显著提升了LLM的工具使用能力。

📝重点思路

🔸论文设计了一个包含意图识别器、任务分解器、子任务处理器和执行器的四个模块的框架。（1）意图识别器从用户的问题中提取关键词，识别用户意图并生成提示。（2）任务分解器将复杂问题分解为多个简单子任务，并为每个子任务选择适当的工具。（3）子任务处理器根据工具的复杂性和参数数量生成工具调用所需的参数，采用精细化的多结构处理策略。（4）执行器负责执行选定的工具及其参数，并返回结果。
🔸通过细化参数生成过程，将生成从工具级别提升到参数级别，以适应不同工具的复杂性。
🔸采用分而治之的策略，针对不同工具的复杂性设计多种结构处理器，以提高参数生成的准确性。
🔸在任务分解时，逐步识别用户意图并将复杂任务分解为简单子任务，并为每个子任务选择适当的工具。

🔎分析总结

🔸实验结果表明，TUMS在ToolQA基准测试中，尤其在难度较高的问题上，相较于其他方法有显著提升，平均提高了19.6%（简单问题）和50.6%（困难问题）的正确率。
🔸TUMS-PRE变体在所有问题上的正确率达到40.13%，超过了ReAct方法的29.93%。
🔸通过与其他基线方法的比较，证明了多结构处理器在复杂工具调用中的有效性，尤其是在处理多参数或复杂工具时。

💡个人观点

论文的创新点在于将工具调用拆分为意图识别、任务分解、子任务处理和执行四个步骤，通过分治的思想为不同工具做了不同的优化。

🧩附录