Training Agents with Weakly Supervised Feedback from Large Language Models

本文是LLM系列文章，针对《Training Agents with Weakly Supervised Feedback from Large Language Models》的翻译。

摘要

大型语言模型（LLM）为创建能够通过迭代环境交互处理复杂任务的代理提供了一个有前途的基础。现有的方法要么要求这些代理模仿专家提供的轨迹，要么依赖明确的环境反馈进行强化学习，这限制了它们在游戏或代码生成等特定场景的应用。本文介绍了一种基于 LLM 的代理的新颖训练方法，使用来自批评者 LLM 的弱监督信号，绕过了对专家轨迹或明确反馈的需要。我们的智能体以迭代方式进行训练，最初通过环境交互生成轨迹。随后，批评家 LLM 选择良好轨迹的子集，然后将其用于更新代理，使它们能够在下一次迭代中生成改进的轨迹。对 API-bank 数据集的广泛测试表明，尽管我们使用参数较少的开源模型，但我们的代理能力持续改进，并且性能与 GPT-4 相当。

1 引言

2 方法

3 实验

4 结论

总之，本文提出了一种新颖的框架，可以实现智能体的迭代自我进化，减少对专家设计的轨迹或决定性环境反馈的依赖。我们的方法利用批评家大语言模型（LLM）来提供微弱反馈，允许代理逐步发展并增量学习。尽管弱反馈可能会导致错误，但我们的迭代训练过程仅选择少量高置信度试验，确保了全面的环境探索和有效的学习。值得注意的是，我们的框架使用小得多的 LLM 在 API-Bank 公共基准数据集上实现了与 GP