大语言模型工具学习全面综述：背景、定义、范式、评估、趋势

大语言模型工具学习全面综述：背景、定义、范式、评估、趋势

以下文章来源于旺知识 ，作者旺知识

近期，大语言模型的工具学习已成为增强LLMs能力、解决高度复杂问题的一个有前景的范式。尽管这个领域得到了越来越多的关注和快速发展，但现有的文献仍然分散且缺乏系统性的组织，为新入门者设置了障碍。这一差距促使我们对现有的LLMs工具学习作品进行全面的综述。在这项综述中，我们从两个主要方面（1）工具学习的好处是什么，以及（2）工具学习是如何实施的，进行了文献回顾，从而全面理解LLMs的工具学习。我们首先通过从六个具体方面回顾工具整合的好处和工具学习范式的固有好处来探索“为什么”。在“如何”方面，我们根据工具学习工作流程的四个关键阶段的分类法系统回顾了文献：任务规划、工具选择、工具调用和响应生成。此外，我们还提供了现有基准和评估方法的详细总结，根据它们与不同阶段的相关性进行分类。最后，我们讨论了当前的挑战并概述了潜在的未来方向，旨在激发研究人员和工业开发者进一步探索这一新兴和有前景的领域。

我们翻译解读最新论文：大语言模型工具学习综述，文末有论文链接。

1 引言

在历史上，人类不断寻求创新，利用日益复杂的工具来提高效率和增强能力（Washburn, 1960; Gibson等人，1993）。这些工具，扩展了我们的智力和体力，对推动社会和文化进化至关重要（Von Eckardt, 1995）。从原始的石器到先进的机械，这一进步扩大了我们的潜力，超越了自然限制，使我们能够更复杂、更高效地管理任务（Shumaker等人，2011）。今天，我们正在经历一场新的技术复兴，这一复兴是由人工智能的突破推动的，特别是通过大型语言模型的发展。像ChatGPT这样的开创性模型展示了显著的能力，在自然语言处理（NLP）任务的一系列领域，包括摘要（El-Kassas等人，2021; Zhang等人，2024c）、机器翻译（Zhang等人，2023a; Feng等人，2024）、问答（Yang等人，2018; Kwiatkowski等人，2019）等方面取得了显著进展。然而，尽管LLMs拥有令人印象深刻的能力，它们在进行复杂计算和提供准确、及时的信息方面常常遇到困难，因为它们依赖于固定和参数化的知识（Mallen等人，2022; Vu等人，2023）。这种固有的局限性经常导致响应在表面上看似合理但事实上可能是错误的或过时的（通常被称为幻觉）（Ji等人，2023; Zhang等人，2023c），给用户带来了重大风险并误导了用户。随着LLMs能力的不断提升，预计LLMs将变得精通使用工具来解决复杂问题，就像人类一样（Qin等人，2023），这被称为LLMs的工具学习。工具学习作为解决LLMs这些局限性的一个有希望的解决方案，通过使LLMs能够与外部工具动态交互（Schick等人，2024; Qin等人，2024; Tang等人，2023）。这种方法不仅增强了LLMs的问题解决能力，而且还扩大了它们的功能范围（Yao等人，2022a; Lazaridou等人，2022a; Lu等人，2023）。例如，LLMs可以使用计算器工具执行复杂计算，通过天气API获取实时天气更新，并通过解释器执行编程代码（Pan等人，2023; Wang等人，2024d）。这种整合显著提高了它们对用户查询的响应准确性，促进了更有效和可靠的用户交互。随着这个领域的不断发展，工具增强的LLMs预计将在NLP的未来发挥关键作用（Parisi等人，2022; Karpas等人，2022），提供更多功能强大和适应性强的解决方案（Nakano等人，2021; Surís等人，2023）。

2 背景

在本节中，我们提供了与工具学习相关的概念和术语的概述。

什么是工具？在增强LLMs的背景下，工具的定义非常广泛。Mialon等人（2023）将工具描述为“外部使用的一个不附加或可操纵的附加环境对象，以更有效地改变另一个对象的形式、位置或状态。”另一方面，Wang等人（2024）定义工具为“语言模型使用的工具是一个计算机程序的功能接口，该程序在语言模型外部运行，语言模型生成功能调用和输入参数以使用该工具。”同样，我们认为任何通过外部手段增强LLMs的方法都符合工具的定义。值得注意的是，检索增强生成（RAG）是工具学习的一个特定实例，其中搜索引擎被用作LLMs的工具。同时，“工具”的定义在不同论文中常常保持模糊和不一致。例如，一些研究明确定义了工具和API，认为工具包括多个API的聚合（Patil等人，2023；Xu等人，2023；Qin等人，2024）。相反，其他研究将每个API视为一个独立的工具（Anantha等人，2023；Li等人，2023b；Tang等人，2023）。在本综述中，我们按照文本中早期建立的工具定义，将每个API视为一个单独的工具。

什么是工具学习？ 工具学习指的是“旨在释放LLMs与各种工具有效交互以完成复杂任务的能力”（Qin等人，2024）的过程。这种范式显著提高了LLMs解决复杂问题的能力。例如，当ChatGPT接收到用户查询时，它会评估是否需要调用特定工具。如果需要工具，ChatGPT将透明地使用该工具概述问题解决过程，解释其响应背后的逻辑，从而确保用户获得一个知情的答案。此外，在初始解决方案失败的情况下，ChatGPT将重新评估其工具选择，并采用替代方案生成新响应。

3 为什么需要工具学习？

在本节中，我们将从两个主要角度详细说明工具学习对LLMs的多方面重要性：工具整合的好处和工具学习范式本身的好处。一方面，将工具整合到LLMs中可以在多个领域增强能力，即知识获取、专业能力增强、自动化和效率以及交互增强。另一方面，采用工具学习范式增强了响应的稳健性和生成过程的透明度，从而提高了可解释性和用户信任，同时改善了系统的稳健性和适应性。后续小节将详细阐述这六个方面，概述为什么工具学习对LLMs很重要。

3.1 知识获取

尽管LLMs在各个领域展示了其巨大的能力（Ouyang等人，2022），它们的能力仍然受到预训练期间学习的知识范围的限制（Mallen等人，2022）。这种嵌入的知识是有限的，缺乏获取更新信息的能力。此外，LLMs的有效性还受到用户提示的影响，这些提示可能并不总是精心制作的。因此，LLMs容易产生表面上看似合理但可能包含事实错误的内容包括幻觉。一个有前景的方法是将LLMs与能够动态获取和整合外部知识的能力相结合。例如，使用搜索引擎工具可以使LLMs访问当代信息（Komeili等人，2022；Nakano等人，2021；Lazaridou等人，2022b；Shi等人，2023；Schick等人，2024；Paranjape等人，2023；Gou等人，2024a），而整合数据库工具则允许LLMs访问结构化数据库以检索特定信息或执行复杂查询，从而扩大了它们的知识库（Thoppilan等人，2022；Patil等人，2023；Hao等人，2024；Zhuang等人，2024b；Zhang等人，2024b；Gu等人，2024）。此外，连接天气工具可以获取实时的天气更新、预报和历史数据（Xu等人，2023；Tang等人，2023；Huang等人，2024c），与地图工具的接口使LLMs能够获取和提供地理数据，帮助导航和基于位置的查询（Qin等人，2023）。通过这些增强，LLMs可以超越传统的限制，提供更准确和上下文相关的输出。

3.2 专业能力增强

鉴于LLMs是在包含通用知识的数据集上训练的，它们通常在专业领域表现出不足。虽然LLMs展示出对基本数学问题的强大的问题解决能力，在加法、减法操作上表现出色，并且在乘法任务上展现出合理的熟练度，但当面对除法、指数、对数、三角函数和其他更复杂的复合函数时，它们的能力显著下降（Dao和Le，2023；Wei等人，2023）。这种局限性扩展到代码生成任务（Chen等人，2021；Austin等人，2021）以及化学和物理问题（Inaba等人，2023）等，进一步突显了它们在更专业领域的专业知识差距。因此，使用特定工具来增强LLMs的领域特定专业知识是可行的（He-Yueya等人，2023；Kadlˇcík等人，2023；Jin等人，2024b；M. Bran等人&