Survey on Large Language Model-Enhanced Reinforcement Learning: Concept, Taxonomy, and Methods

本文是LLM系列文章，针对《Survey on Large Language Model-Enhanced Reinforcement Learning: Concept, Taxonomy, and Methods》的翻译。

摘要

凭借广泛的预训练知识和高级通用能力，大型语言模型（LLM）成为在多任务学习、样本效率和任务规划等方面增强强化学习（RL）的有前景的途径。在这项调查中，我们全面回顾了LLM增强RL的现有文献，并总结了其与传统RL方法相比的特点，旨在阐明未来研究的研究范围和方向。利用经典的代理-环境交互范式，我们提出了一种结构化的分类法，对RL中LLM的功能进行系统分类，包括四个角色：信息处理器、奖励设计者、决策者和生成器。此外，对于每个角色，我们总结了方法论，分析了缓解的具体强化学习挑战，并提供了对未来方向的见解。最后，讨论了LLM增强RL的潜在应用、潜在机遇和挑战。

1 引言

2 背景

3 基于大语言模型的强化学习

4 LLM作为信息处理器

5 LLM作为奖励设计师

6 LLM作为决策者

7 LLM作为生成器

8 讨论

9 结论

LLM凭借其预训练的知识库和强大的推理和上下文学习等能力，成为在自然语言理解、多任务泛化、任务规划和样本效率方面增强RL的可行解决