Agent-FLAN——为大模型设计有效的智能体调优方法

人工智能咨询培训老师叶梓 转载标明出处

当大模型作为智能体（agents）时，与基于API的模型相比，性能仍然有较大差距。如何将智能体能力整合到通用的LLMs中，成为一个关键且紧迫的问题。由此中国科学技术大学自动化系和上海人工智能实验室的研究者提出了Agent-FLAN方法，旨在通过有效的数据和方法设计，提升大模型（LLMs）在智能体任务中的表现。

方法

研究者们提出了三个关键观察结果：

观察1：智能体训练数据常常与特定的格式（如ReAct和JSON）混合，这导致模型从其预训练的自然对话领域偏离，从而在调优过程中可能过度拟合格式而非学习实际的推理能力。

观察2：通过将训练数据按照模型的不同能力（如检索、指令跟随、推理和理解）进行分解（表3），研究者们发现模型在这些不同能力上显示出不同的学习速度。这表明，为了优化智能体性能，需要根据模型在不同能力上的学习效率来平衡训练数据。

观察3：现有调优方法往往忽视了模型在生成输出时可能出现的幻觉问题，即模型可能会生成与用户查询不相关或不存在的功能响应。这种现象在实际应用中尤为重要，因此需要更多关注和改进调优机制来有效评估和减少这类问题。

并基于这些发现，研究者提出了Agent-FLAN方法。他们通过实验设置，对Llama2系列模型进行了微调，并构建了一个与AgentTuning相一致的数据集，这个数据集包括了多种训练数据源，