本文是LLM系列文章,针对《THE RL/LLM TAXONOMY TREE: REVIEWING SYNERGIES BETWEEN REINFORCEMENT LEARNING AND LARGE LANGUAGE MODELS》的翻译。
RL/LLM分类树:回顾强化学习与大型语言模型之间的协同作用
摘要
在这项工作中,我们回顾了将强化学习(RL)和大型语言模型(LLM)相结合的研究,这两个领域的发展势头归功于深度神经网络的发展。基于这两种模型类型相互作用的方式,我们提出了一种新的三个主要类的分类法。第一类RL4LLM包括利用RL来提高LLM在与自然语言处理相关的任务中的性能的研究。RL4LLM分为两个子类,这取决于RL是用于直接微调现有LLM还是用于改进LLM的提示。在第二类LLM4RL中,LLM帮助训练RL模型,该模型执行与自然语言无关的任务。我们基于LLM辅助或替代的RL训练框架的组成部分,即奖励塑造、目标生成和政策功能,进一步分解了LLM4RL。最后,在第三类中,RL+LLM、LLM和RL代理被嵌入到公共规划框架中,而它们中的任何一个都没有对另一个的训练或微调做出贡献。我们进一步将这门课分为两类,以区分有自然语言反馈和没有自然语言反馈的学习。我们使用这种分类法来探索LLM和RL协同作用背后的动机,并解释其成功的原因,同时指出潜在的缺点和需要进一步研究的领域,以及服务于相同目标的替代方法。