AlphaGo Zero：笔记与伪代码

近日，Google DeepMind 在 Nature 上发表了一篇论文，介绍了这家世界顶级人工智能机构在计算机围棋方面的最新研究成果 AlphaGo Zero（参阅机器之心文章《 无需人类知识，DeepMind 新一代围棋程序 AlphaGo Zero 再次登上 Nature》）。这个在学习过程中没有使用任何人类知识的人工智能程序可以轻松地以 100 比 0 的成绩击败去年 3 月战胜了李世乭的 AlphaGo 版本。AlphaGo Zero 论文发布之后，阿尔伯塔大学 Yuxi Li 博士对该程序的工作原理进行了分析，并使用伪代码的方式对其训练过程进行了描述。原文链接请参见 https://pan.baidu.com/s/1jI481xW。

 

1 引言

 

2016 年 3 月，AlphaGo（Silver et al., 2016）击败了带有 18 个国际冠军头衔的人类顶级围棋手，造就了人工智能领域的一大里程碑。AlphaGo Zero（Silver et al., 2017）则实现了更进一步的提升，在不使用人类知识的情况下学习到了一个超人水平的计算机围棋程序。

AlphaGo（Silver et al., 2016; 2017）立足于深度学习、强化学习（RL）和蒙特卡洛树搜索（MCTS）。这一波深度强化学习浪潮起始于深度 Q 学习（Mnih et al., 2015）；全面概述请参阅 Li (2017) https://arxiv.org/abs/1701.07274。

 

Sutton 和 Barto (2017) 对 AlphaGo 进行了详细且直观的描述。关于 AlphaGo