《Nature》突破强化学习困境： “Dreamer” 算法开启通用智能新篇章

论文题目：Mastering Diverse Domains through World Models

论文地址：https://arxiv.org/pdf/2301.04104

创新点

• 在人工智能领域，强化学习算法的通用性与扩展性始终是研究热点。DreamerV3 作为一款创新型算法，凭借固定超参数设置，成功在连续与离散动作、视觉及低维输入、2D 与 3D 等多元复杂环境中展现出卓越性能，成为当前多领域强化学习任务的领先解决方案。
• DreamerV3 的核心架构围绕世界模型构建，通过深度挖掘环境信息，实现对环境的全面感知与模拟训练。其世界模型具备强大的预测能力，能够精准推演潜在动作可能引发的未来环境变化，为智能体提供高度凝练的环境表征，并赋予智能体前瞻性的规划能力。这种独特设计，使得算法可在不同应用场景下高效完成学习任务并做出最优决策。

方法

在算法设计层面，DreamerV3 提出了一套基于世界模型的通用强化学习框架。该算法由世界模型、评价网络（critic）和策略网络（actor）三大核心神经网络模块构成：世界模型负责对不同动作选择下的环境状态演变及结果进行预测；评价网络用于量化评估环境状态的价值；策略网络则以获取高价值状态为目标，学习最佳行动策略。三者协同运作，共同推动智能体在复杂环境中实现高效学习。

从性能对比数据来看，DreamerV3 展现出显著优势。通过对不同数据效率场景下的性能测试（以环境步数为横轴，任务得分或性能指标为纵轴），在多项基准测试中，相较于其他采用固定超参数的算法，DreamerV3 均实现性能超越。尤为值得关注的是，在 Minecraft 环境中，该算法打破传统依赖人类数据的局限，成功实现从零开始采集钻石，充分彰显其在复杂任务处理上的卓越能力。

在训练过程中，DreamerV3 主要包含世界模型学习与演员评论家学习两大环节。世界模型通过编码器将感官输入转化为随机表示，借助序列模型依据历史动作预测该表示的演变序列，同时完成奖励预测与片段持续判断；演员和评论家则基于世界模型输出的抽象表示进行学习优化，这种设计确保各模块紧密协作，实现高效学习与精准决策。

此外，DreamerV3 创新性引入 symlog 函数处理数据，相较于传统对数函数与恒等函数，symlog 函数在数据处理上优势明显。它能够有效压缩大幅值数据，同时完整保留数据符号信息，特别适用于处理不同领域中信号幅度差异显著的数据，进一步增强了算法的适应性与鲁棒性。

通过多组基准测试实验结果表明，DreamerV3 在不同环境下均保持出色表现。测试涵盖任务类型、环境步数、动作重复次数、环境实例数量、训练比率等多维度指标，同时详细记录了 GPU 使用时长与模型规模。这些数据为全面评估 DreamerV3 在各类场景下的应用效果与性能表现提供了详实依据，而其在 Minecraft 环境中的突破性表现，更充分验证了该算法应对稀疏奖励与复杂环境的强大能力，为强化学习技术的进一步发展提供了新思路与新方向。

关注“学长论文指导”公众号，回复“977C”

领取强化学习最新前沿论文合集+开源代码