关于 AlphaGo 论文的阅读笔记

这是Deepmind 公司在2016年1月28日Nature 杂志发表论文 《Mastering the game of Go with deep neural networks and tree search》，介绍了 AlphaGo 程序的细节。本博文是对这篇论文的阅读笔记。

AlphaGo 神经网络构成

AlphaGo 总体上由两个神经网络构成，以下我把它们简单称为「两个大脑」，这并非原文中的提法，只是我的一个比喻。

第一个大脑（Policy Network）的作用是在当前局面下判断下一步可以在哪里走子。它有两种学习模式：一个是简单模式，它通过观察 KGS（一个围棋对弈服务器）上的对局数据来训练。粗略地说：这可以理解为让大脑学习「定式」，也就是在一个给定的局面下人类一般会怎么走，这种学习不涉及对优劣的判断。另一个是自我强化学习模式，它通过自己和自己的海量对局的最终胜负来学习评价每一步走子的优劣。因为是自我对局，数据量可以无限增长。

第二个大脑（Value Network）的作用是学习评估整体盘面的优劣。它也是通过海量自我对局来训练的（因为采用人类对局会因为数据太少而失败）。

在对弈时，这两个大脑是这样协同工作的：

第一个大脑的简单模式会判断出在当前局面下有哪些走法值得考虑。

第一个大脑的复杂模式通过蒙特卡洛树来展开各种走法，即所谓的「