浙大：LLM模糊查询的工具调用

📖标题：ASKTOACT: Enhancing LLMs Tool Use via Self-Correcting Clarification
🌐来源：arXiv, 2503.01940

🌟摘要

🔸大型语言模型（LLMs）在工具学习方面表现出了卓越的能力。在现实世界中，用户查询往往是模糊和不完整的，需要有效的澄清。然而，现有的交互式澄清方法面临两个关键限制：依赖手动构建的数据集，以及在多回合澄清过程中缺乏纠错机制。
🔸我们介绍ASKTOACT，它通过利用查询与其工具调用解决方案之间的结构映射来解决这些挑战。我们的关键见解是，工具参数自然地代表了明确的用户意图。通过系统地从查询中删除关键参数，同时将其保留为基本事实，我们可以自动构建高质量的训练数据。我们通过使用选择性掩蔽机制对纠错增强数据进行微调，进一步增强了模型的鲁棒性，从而在澄清交互过程中实现了动态错误检测。
🔸综合实验表明，ASKTOACT明显优于现有方法，在恢复关键的未指定意图方面实现了79%以上的准确率，在保持工具调用高准确率的同时，将澄清效率平均提高了48.34%。我们的框架在不同的复杂度级别上表现出强大的性能，并成功地推广到完全看不见的API，而无需额外的训练，以更少的计算资源实现了与GPT-4相当的性能。

🛎️文章简介

🔸研究问题：如何增强大语言模型（LLM）在工具学习场景中处理不明确查询的能力，以确保准确和可靠的工具调用。
🔸主要贡献：论文提出了一种自我纠正的意图澄清框架（ASKTOACT），通过自动化数据构建流程和自我纠正机制，解决了数据可扩展性和错误处理的挑战。

📝重点思路

🔸自动化数据构建管道：通过逆向工程现有工具学习数据集，系统性地删除查询中的关键参数，生成不明确查询，并保留必要的真实信息以便后续对话构建和评估。
🔸澄清对话构建：在生成不明确查询后，利用LLM生成多轮互动的澄清对话，确保每一步都有效促进意图澄清，并保持自然的对话流。
🔸自我纠正机制：采用动态错误检测和纠正策略，通过引入错误纠正对，增强模型在澄清过程中实时纠正错误的能力。

🔎分析总结

🔸ASKTOACT能够正确识别不明确查询，并恢复超过79%的关键不明确意图，同时澄清效率提高了平均48.34%。
🔸在端到端工具调用中，该模型表现出超过95%的工具选择准确率和72%以上的参数解析准确率。
🔸该方法在不同复杂性水平下均表现稳健，并成功泛化到完全未见的API。
🔸尽管GPT-4的计算需求显著更高，ASKTOACT在性能上与其可比。

💡个人观点

论文的核心是通过删除明确查询的部分参数来构建模糊查询，进一步构建多轮澄清对话数据，再构建正负样本对训练。

🧩附录