打破瓶颈，释放记忆洪荒之力：AMAGO 如何用长序列 Transformer 驯服上下文强化学习？

强化学习（RL）领域近年来发展迅速，涌现出许多能够在特定环境中出色完成单一目标任务的“专家级”决策智能体。然而，构建能够适应多样化环境、具备长期记忆和不确定性推理能力的“通才型”智能体，成为了新的挑战与目标。上下文强化学习（in-context RL）作为通才型 RL 的有力候选者，利用序列模型学习历史经验，在测试阶段动态地适应新情况。试想一下，如果智能体拥有强大的记忆力，能够像福尔摩斯一样，从过往的经历中汲取经验教训，那它在面对新环境时，就能迅速找到应对策略，成为真正的“百事通”！

然而，理想很丰满，现实很骨感。早期的上下文 RL 智能体受限于循环神经网络和在线学习方法，在记忆容量和规划范围上都难以突破瓶颈。Transformer 的出现，将记忆问题巧妙地转化为信息检索，为解决这一难题带来了曙光。然而，将 Transformer 与离线 RL 结合，却像是两位武林高手过招，各自的看家本领反而相互掣肘，难以施展。

AMAGO 横空出世，上下文 RL 迎来新突破！

AMAGO (Adaptive Memory Agent for achieving GOals) 这一全新算法的提出，为上下文 RL 领域带来了两大重要突破。首先，AMAGO 对离线策略 actor-critic 更新机制进行了