StableToolBench: Towards Stable Large-Scale Benchmarking on Tool Learning of Large Language Models

本文是LLM系列文章，针对《StableToolBench: Towards Stable Large-Scale Benchmarking on
Tool Learning of Large Language Models》的翻译。

摘要

近年来，大型语言模型（LLM）取得了显著的进步，促使人们探索工具学习，将LLM与外部工具相结合，以应对现实世界中的各种挑战。评估LLM利用工具的能力需要大规模和稳定的基准。然而，以前的工作要么依赖于规模有限的手工在线工具，要么依赖于API地位不稳定的大规模真实在线API。为了解决这个问题，我们引入了StableToolBench，这是一个从ToolBench演变而来的基准，提出了一个虚拟的API服务器和稳定的评估系统。虚拟API服务器包含一个缓存系统和API模拟器，它们是互补的，以缓解API状态的变化。同时，稳定评估系统使用GPT-4作为自动评估器，设计可解决的通过率和胜率，以消除评估过程中的随机性。实验结果证明了StableToolBench的稳定性，并进一步讨论了API模拟器、缓存系统和评估系统的有效性。

1 引言

2 Toolbench上的稳定性分析

3 StableToolBench

4 实验

5 相关工作

6 结论

在本文中，我们提出了StableToolBench，这是一个为增强ToolBench的稳定性而开发的基准。我们的分析确定了To