A Survey on Self-Evolution of Large Language Models

本文是LLM系列文章，针对《A Survey on Self-Evolution of Large Language Models》的翻译。

摘要

大型语言模型（LLM）在各个领域和智能代理应用中取得了显著进展。然而，目前从人工或外部模型监督中学习的LLM成本很高，随着任务复杂性和多样性的增加，可能会面临性能上限。为了解决这个问题，使LLM能够自主获取、改进和学习模型本身产生的经验的自我进化方法正在迅速发展。这种受人类体验式学习过程启发的新训练范式提供了将LLM扩展到超级智能的潜力。在这项工作中，我们对LLM中的自我进化方法进行了全面的调查。我们首先提出了一个自我进化的概念框架，并将进化过程概述为由四个阶段组成的迭代循环：经验获取、经验精炼、更新和评估。其次，我们对LLM和基于LLM的代理的进化目标进行了分类；然后，我们总结了文献，并为每个模块提供了分类和见解。最后，我们指出了现有的挑战，并提出了改进自我进化框架的未来方向，为研究人员提供了关键的见解，以快速跟踪自我进化LLM的发展。我们相应的GitHub存储库可在https://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/Awesome-SelfEvolution-of-LLM.

1 引言

2 概述

3 进化目标

4 经验获取

5 经验精炼