APIGen:自动生成可验证和多样化函数调用数据集的创新框架

1. 研究背景与问题

随着大型语言模型(LLM)技术的快速发展,函数调用代理(function-calling agent)成为了人工智能领域的一个重要研究方向。这些代理模型不仅能理解和生成人类语言,还能根据自然语言指令执行具体的API调用。然而,开发高质量的函数调用代理面临着以下关键挑战:

1. 数据集质量问题: 现有的用于训练函数调用代理模型的数据集往往是静态的,缺乏全面验证。这可能导致模型在真实世界应用中的微调出现潜在的不准确和效率低下的问题。

2. 数据集多样性不足: 当模型在训练数据集上遇到新的、未见过的API时,可能会出现适应性问题。例如,一个主要在餐厅预订API上训练的模型可能在突然需要检索股市数据时会遇到困难。

3. 数据集可扩展性受限: 为了更好地反映现实世界API使用的多样性和复杂性,需要一个可扩展的系统来生成高质量的、多样化的数据集,以支持函数调用大型语言模型(LLMs)的微调。

2. APIGen框架介绍

为了解决上述问题,论文提出了APIGen,一个自动化的数据生成管道,用于创建可验证、多样化的函数调用数据集。APIGen的主要特点和贡献包括:

1. 多阶段验证流程: 确保生成数据的质量和可靠性
2. 多样化的采样策略: 提高数据集的覆盖范围和代表性
3. 统一的JSON格式