本文是LLM系列文章,针对《A Survey on Self-Evolution of Large Language Models》的翻译。
摘要
大型语言模型(LLM)在各个领域和智能代理应用中取得了显著进展。然而,目前从人工或外部模型监督中学习的LLM成本很高,随着任务复杂性和多样性的增加,可能会面临性能上限。为了解决这个问题,使LLM能够自主获取、改进和学习模型本身产生的经验的自我进化方法正在迅速发展。这种受人类体验式学习过程启发的新训练范式提供了将LLM扩展到超级智能的潜力。在这项工作中,我们对LLM中的自我进化方法进行了全面的调查。我们首先提出了一个自我进化的概念框架,并将进化过程概述为由四个阶段组成的迭代循环:经验获取、经验精炼、更新和评估。其次,我们对LLM和基于LLM的代理的进化目标进行了分类;然后,我们总结了文献,并为每个模块提供了分类和见解。最后,我们指出了现有的挑战,并提出了改进自我进化框架的未来方向,为研究人员提供了关键的见解,以快速跟踪自我进化LLM的发展。我们相应的GitHub存储库可在https://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/Awesome-SelfEvolution-of-LLM.