哈工大：LLM通过自主学习积累任务经验

📖标题：Self-Evolving GPT: A Lifelong Autonomous Experiential Learner
🌐来源：arXiv, 2407.08937

🛎️文章简介

🔸研究问题：大语言模型（LLM）由于缺乏经验无法有效处理某些任务，能否通过自主学习实现经验积累。
🔸主要贡献：论文提出了一种名为SE-GPT的终身自主经验学习框架，通过不断积累解决任务的经验，能根据输入问题自动选择合适的经验进行响应。

📝重点思路

🔺相关工作

🔸为了提高LLM的表现，早期由研究人员通过提示提供文本体验，最近的工作重点是让LLM自动获得任务解决经验。
🔸情境学习（ICL）为LLM提供演示， 可以被视为文本经验的特定替代品，但存在格式不正确、噪音和多样性低等问题。

🔺论文方案

🔸框架：由一个特定于任务的经验记忆和五个基于ChatGPT的以经验为中心的模块组成。
🔸任务响应：收集到用户问题后，自动对识别问题的任务类型，并使用经验库进行响应。
🔸经验更新：对于尚未掌握的任务，通过经验迁移（检索相关任务）、自主练习（检索验证）和经验归纳（总结正确和错误响应），更新经验库后再进行响应。

🔎分析总结

🔸SE-GPT在性能上持续优于基线方法，并分别提高了零样本GPT-3.5和GPT-4的平均性能。
🔸任务分类是框架的第一个模块，严重影响后续模块的性能。
🔸经验迁移和归纳模块对框架的整体性能和经验量有显著贡献，因为它们能够从其他任务转移经验或从多个示例中总结经验。

💡个人观点

论文的创新点是提出了一种能够自动学习和积累经验的自适应经验学习框架。

附录