【大模型】Reflextion解读

前言：一种大模型强化学习技术，将传统的梯度更新时的参数信号替换成上下文的语言总结，过程和人类反思相似。区别与RLHF，Reflextion是agent自我反思，RLHF是人类反馈。

1. 基础知识

1.1 强化学习

四要素：策略（policy），奖励（reward），价值（value）以及环境或者说是模型（model）

• 策略：定义了智能体对于给定状态所做出的行为，换句话说，就是一个从状态到行为的映射。
• 奖励：定义了强化学习问题的目标，能表征在某一步智能体的表现如何
• 价值：与奖励的即时性不同，价值函数是对长期收益的衡量
• 环境：用于预测接下来的状态和对应的奖励。
  

1.2 大模型Agent

Agent是一种框架，Agent 通常利用 prompt 来与用户交互，接收输入，处理信息，然后提供响应。在复杂应用中，Agent 可能具备记忆、长期对话、任务分配、资源调用等多种能力，并且会根据用户的 prompt 和上下文自动调整行为。

2. 创新点

• 利用自然语言作为反馈信号，将二进制或标量环境反馈转化为文本形式的自反反馈，从而为智能体提供了更加清晰和可解释的方向；
• 使用长短期记忆（LSTM）网络存储自反反馈经验，以便于智能体在未来的学习过程中参考；

3. 模型框架

a. 三个模型

• Actor模型：使用大型语言模型（LLM）来生成文本和动作，并在环境中接收观察结果。
• Evaluator模型：负责评估Actor产生的轨迹的质量，并计算一个奖励分数以反映其性能。
• Self-Reflection模型：对反馈内容进行反思，为后续流程提供有价值的反馈信息。

b. 两个记忆

• 长期记忆：长期记忆则存储来自Self-Reflextion模型的经验反馈
• 短期记忆：短期记忆用于存储最近的任务历史记录

参考文献

[1]Reflexion: Language Agents with Verbal Reinforcement Learning
[2]https://github.com/noahshinn/reflexion