深度强化学习实验室
来源：AI科技评论
作者： 陈彩娴、青暮
编辑：DeepRL
近日，DeepMind一篇关于MuZero的论文“Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model”在Nature发表。与AlphaZero相比，MuZero多了玩Atari的功能，这一突破进展引起科研人员的广泛关注。
MuZero通过DQN算法，仅使用像素和游戏分数作为输入就可以在Atari视频游戏中达到人类的水平。相对于围棋、国际象棋、日本将棋，Atari游戏的规则与动态变化未知且复杂。
AlphaGo在2016年的围棋比赛中以4-1击败了围棋世界冠军李世石；AlphaGo Zero，可以从零通过自我对弈训练，仅在知道基本游戏规则的情况下，第二年在性能上超过了AlphaGo；AlphaZero于2017年通过对AlphaGo Zero进行一般化，可以将其应用于其他游戏，包括国际象棋和日本将棋。
而据Nature报道，尽管每步进行的树搜索计算量较少，但MuZero在玩围棋方面被证明比AlphaZero稍好。
图注：DeepMind游戏AI的进化。
以研究AI打扑克出名的FAIR研究科学家Noam Brown对MuZero评价道：
当前人们对游戏AI的主要批评是：模型不能对现实世界中相互作用进行准确建模。MuZero优雅而令人信服地克服了这个问题（适用于完美信息游戏）。我认为，这是可以与AlphaGo和AlphaZero相提并论的重大突破！
David Silver在接受BBC的采访中提到，MuZero已经投入实际使用，用于寻找一种新的视频编码方式，从而实现视频压缩。“互联网上的数据大部分是视频，那么如果可以更有效地压缩视频，则可以节省大量资金。”由于谷歌拥有世界上最大的视频共享平台YouTube，因此他们很可能将MuZero其应用到该平台上。
现实世界混乱而复杂，没有人给我们提供有关其运作方式的规则手册。但是人类有能力制定下一步的计划和策略。我们第一次真正拥有了这样的系统，能够建立自己对世界运作方式的理解，并利用这种理解来进行这种复杂的预见性规划，我们以前也在AlphaZero上实现过类似的能力。MuZero可以从零开始，仅通过反复试验就可以发现世界规则，并使用这些规则来实现超人的表现。
1
关于MuZero
一直以来，构建具有规划能力的智能体是人工智能领域的主要挑战之一。此前，基于树的规划方法在国际象棋与围棋等领域取得了巨大的成功。然而，在现实世界中，控制环境的动态变化（dynamics）通常是复杂且不可知的。
因此，DeepMind团队提出了MuZero算法，通过将基于树的搜索与经过学习的模型相结合，可以在一系列具有挑战性和视觉复杂的领域中，无需了解基本的动态变化即可实现超越人类的出色性能。
MuZero算法学习可迭代模型，该模型能够产生与规划相关的预测，包括动作选择策略、价值函数和奖励。在57种不同的Atari游戏上进行评估时，MuZero算法获得了最先进的性能。
Atari游戏是用于测试人工智能技术的规范视频游戏环境，其中，此前基于模型的规划方法均无效。而在围棋、国际象棋和日本将棋（用于评估高性能计划的典型环境）上进行评估时，MuZero算法在无需任何游戏动态的相关知识，就能与游戏规则完全匹配。
论文地址：https://arxiv.org/pdf/1911.08265.pdf
在正式推出MuZero之前，DeepMind已在探索智能算法上取得了多项显著成就：2016年，DeepMind推出了第一个能在围棋游戏中击败人类的AI程序——AlphaGo。2018年，AlphaGo的继承者AlphaZero从零开始学习并掌握了围棋、国际象棋和日本将棋。而MuZero的推出，是DeepMind探索多功能算法的又一突破。
MuZero由DeepMind团队于2019年初步提出，能够在未知环境中规划获胜策略，因此，它也无需提前了解规则，即可掌握围棋、国际象棋、日本将棋与Atari的相关知识。
多年来，研究人员一直在寻找既可以学习能够解释环境的模型，又可以使用该模型来规划最佳行动方案的方法。然而，到目前为止，大多数方法都难以在Atari等规则与动态变化均未知且复杂的领域进行有效规划。
与其他方法不同的是，MuZero通过学习仅关注规划环境中最关键因素的模型来解决该问题。
通过将模型与AlphaZero的树搜索功能相结合，MuZero在Atari基准上取得了最新的技术优势，同时在围棋、国际象棋和日本将棋的经典规划挑战中与AlphaZero的性能不相上下，展示了强化学习算法的快速飞跃。
先前，研究人员通过前向搜索与基于模型的规划等两种方法来提高AI的规划能力。
使用前向搜索的系统（例如AlphaZero）在跳棋、国际象棋和扑克等经典游戏中取得了显著成功，但这类系统之所以取胜，是因为有事先了解游戏环境的动态变化知识，比如游戏规则或配备了精确的模拟器。显然，这一类系统很难应用于解决混乱的现实问题，因为现实世界的问题通常很复杂，很难用简单的三两句规则去概括。
基于模型的系统则旨在通过学习环境动态的精确模型，然后使用模型进行规划。但是，对环境的各个方面进行建模非常复杂，导致算法无法在视觉丰富的领域（例如Atari）中竞争。截至目前为止，在Atari上取得最好结果的是无模型系统，例如DQN，R2D2和Agent57。无模型算法不使用经过学习的模型，而是通过预测来采取最佳的下一步措施。
鉴于其他方法的局限性，MuZero没有尝试对整个环境建模，而只是对智能体进行决策过程中至关重要的方面进行建模。毕竟，如果在下雨的环境，知道打伞避雨比对空气中的雨滴行为进行建模更有用。
具体来说，MuZero对三个环境要素进行建模（这三个要素对于规划非常重要）：
价值：当前处境的好坏程度
策略：所能采取的最佳行动
奖励：最后一个动作的好坏程度
这三个要素都是使用深度神经网络来学习，也是MuZero在采取特定行动时考虑后果与做出相应规划所需要知道的全部内容。
图注：如何使用Monte Carlo树搜索与Muzero神经网络进行规划。Muzero从游戏的当前位置开始（动画顶部的示意图），使用表示功能（H）将观察内容映射到神经网络使用的嵌入（S0）。此外，Muzero使用动态函数（G）和预测函数（F）来考虑下一步要采取的动作序列（A），并选择最佳动作。
图注：MuZero使用其在与环境互动时所收集的经验训练神经网络。这类经验包括对环境的观察和奖励，以及在决定最佳行动时进行的搜索结果。
图注：在训练过程中，模型与所收集的经验一同被取消，在每个步骤中预测先前保存的信息：价值函数V预测所观察到的奖励之和（U），策略估计（P）预测之前所进行的搜索，奖励估计R则预测最后观察到的奖励（U）。
这个方法的另一个优点是：MuZero可以反复使用其学习的模型来改进自己的规划，而不是从环境中收集新数据。比方说，在Atari suite的测试中，被称为MuZero Reanalyze的变体在90％的时间里使用学习的模型来重新规划先前episode中应该做但没有做的事情。
2
Muzero的性能
研究者选择了四个不同的任务来测试MuZeros的能力，分别是围棋、国际象棋、日本将棋和Atari套件（Atari suite），其中前三者被用来评估MuZero在挑战性规划问题上的表现，Atari套件则作为视觉上更复杂问题的基准。
在所有任务中，MuZero以强化学习算法达到了新的SOTA，其性能优于Atari套件上的所有先前的算法，并且也达到了与AlphaZero相当的在围棋、国际象棋和日本将棋上的超人性能。
图注：在训练中分别使用2亿帧或200亿帧的MuZero在Atari套件上的性能。MuZero在两个方面都实现了新的SOTA。所有得分均根据人类测试的性能（100％）进行了归一化，每个实验设置的最佳结果以粗体显示。
研究者还详细测试了MuZero利用其学习的模型进行规划的能力。他们从围棋中经典的精密规划挑战开始，在此挑战中，单步行动可能决定着获胜或失败。
为了验证更多的规划会带来更好的结果这一直觉，研究者对这个问题进行了测试：如果有更多的时间来规划每次行动，那么经过全面训练的MuZero是否可以变得更强大（如下左图所示）？
结果表明，随着将每次行动的时间从十分之一秒增加到50秒，MuZero的能力会增加1000 Elo（衡量玩家的相对技能），这基本相当于熟练的业余玩家和最强的职业玩家之间的区别。
图注：（左）随着规划每次动作的时间的增加，MuZero的围棋能力显着增加。注意MuZero的缩放比例几乎完美地匹配了可以访问完美模拟器的AlphaZero。（右）在训练期间，Atari Games Pac-Man的得分也随着每次行动的规划量而增加。图中每条曲线都显示了一个不同设置的训练运行，MuZero允许考虑每次行动的规划数量不同。
为了测试这种规划设置是否还会在整个训练过程中带来好处，研究者使用单独训练的MuZero实例在Atari游戏Ms Pac-Man上进行了一组实验（如上右图所示）。MuZero允许在每个动作中考虑不同数量的规划，范围从5到50。结果证实，增加每个动作的规划数量可使MuZero更快地学习并获得更好的最终性能。
有趣的是，当MuZero仅允许每步进行6或7次规划时（这个数字太小而无法覆盖Ms Pac-Man的所有可用动作），它仍然取得了良好的性能。这表明MuZero能够在行动和环境状态之间的匹配上进行泛化，而无需详尽搜索所有可能的状态以有效学习。
DeepMind表示，MuZero展示了学习环境模型并成功进行规划的能力，证明了强化学习的重大进步。MuZero的前身AlphaZero已被应用于化学、量子物理学等领域的一系列复杂问题。MuZero强大的学习和规划算法背后的思想可能为应对机器人、工业系统和其他复杂多样的“游戏规则”未知的现实世界中的新挑战铺平道路。
参考链接：
1、https://www.deepmind.com/blog/article/muzero-mastering-go-chess-shogi-and-atari-without-rules
2、https://www.nature.com/articles/s41586-020-03051-4
3、http://www.furidamu.org/blog/2020/12/22/muzero-intuition/
4、https://arxiv.org/abs/1911.08265
5、https://www.bbc.com/news/technology-55403473
6、MuZero的伪代码和解释：https://medium.com/applied-data-science/how-to-build-your-own-deepmind-muzero-in-python-part-3-3-ccea6b03538b
完
总结3: 《强化学习导论》代码/习题答案大全
总结6: 万字总结 || 强化学习之路
完
第91篇：详解用TD3算法通关BipedalWalker环境
第88篇：分层强化学习(HRL)全面总结
第85篇：279页总结"基于模型的强化学习方法"
第84篇：阿里强化学习领域研究助理/实习生招聘
第83篇：180篇NIPS2020顶会强化学习论文
第81篇：《综述》多智能体强化学习算法理论研究
第80篇：强化学习《奖励函数设计》详细解读
第79篇: 诺亚方舟开源高性能强化学习库“刑天”
第77篇：深度强化学习工程师/研究员面试指南
第75篇：Distributional Soft Actor-Critic算法
第74篇：【中文公益公开课】RLChina2020
第73篇：Tensorflow2.0实现29种深度强化学习算法
第72篇：【万字长文】解决强化学习"稀疏奖励"
第71篇：【公开课】高级强化学习专题
第70篇：DeepMind发布"离线强化学习基准“
第66篇：分布式强化学习框架Acme，并行性加强
第65篇：DQN系列(3): 优先级经验回放(PER)
第64篇：UC Berkeley开源RAD来改进强化学习算法
第61篇：David Sliver 亲自讲解AlphaGo、Zero
第59篇：Agent57在所有经典Atari 游戏中吊打人类
第58篇：清华开源「天授」强化学习平台
第57篇：Google发布"强化学习"框架"SEED RL"
第53篇：TRPO/PPO提出者John Schulman谈科研
第52篇：《强化学习》可复现性和稳健性，如何解决？
第51篇：强化学习和最优控制的《十个关键点》
第50篇：微软全球深度强化学习开源项目开放申请
第49篇：DeepMind发布强化学习库 RLax
第48篇：AlphaStar过程详解笔记
第47篇：Exploration-Exploitation难题解决方法
第45篇：DQN系列(1): Double Q-learning
第44篇：科研界最全工具汇总
第42篇：深度强化学习入门到精通资料综述
第41篇：顶会征稿 || ICAPS2020: DeepRL
第40篇：实习生招聘 || 华为诺亚方舟实验室
第39篇：滴滴实习生|| 深度强化学习方向
第37篇：Call For Papers# IJCNN2020-DeepRL
第36篇：复现"深度强化学习"论文的经验之谈
第35篇：α-Rank算法之DeepMind及Huawei改进
第34篇：从Paper到Coding, DRL挑战34类游戏
第31篇：强化学习，路在何方？
第30篇：强化学习的三种范例
第29篇：框架ES-MAML：进化策略的元学习方法
第28篇：138页“策略优化”PPT--Pieter Abbeel
第27篇：迁移学习在强化学习中的应用及最新进展
第26篇：深入理解Hindsight Experience Replay
第25篇：10项【深度强化学习】赛事汇总
第24篇：DRL实验中到底需要多少个随机种子？
第23篇：142页"ICML会议"强化学习笔记
第22篇：通过深度强化学习实现通用量子控制
第21篇：《深度强化学习》面试题汇总
第20篇：《深度强化学习》招聘汇总(13家企业）
第19篇：解决反馈稀疏问题之HER原理与代码实现
第17篇：AI Paper | 几个实用工具推荐
第16篇：AI领域：如何做优秀研究并写高水平论文？
第15篇：DeepMind开源三大新框架！
第13篇：OpenSpiel(28种DRL环境+24种DRL算法)
第11篇：DRL在Unity自行车环境中配置与实践
第8篇：ReinforceJS库（动态展示DP、TD、DQN）
第5篇：深度强化学习在阿里巴巴的技术演进
第4篇：深度强化学习十大原则
第2篇：深度强化学习的加速方法
第1篇：深入浅出解读"多巴胺（Dopamine）论文"、环境配置和实例分析
1504
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
