AlphaGo Zero原理浅析

AlphaGo Zero

论文：《Mastering the game of Go without human knowledge》

AlphaGo与AlphaGo Zero主要有以下几点不同：

• AlphaGo中用了３个policy network,AlphaGo Zero只用了一个reinforcement learning network
• AlphaGo Zero将policy network,value network合并
• AlphaGo Zero中没有Monte Carlo rollout
• AlphaGo Zero的RL network用了残差卷积网络

Reinforcement Learning Network

　　在AlphaGo Zero中只用了一个network，同时输出了action probability和value.输入是当前状态，即将当前棋盘图片输入。network用的是残差卷积网络，加了batch normalization和非线性激活函数。

$$f_\theta=(\mathbf{p},v)$$ $$loss=(z-v)^2-\pi^T\log p+c||\theta||^2$$

骨架

　　AlphaGo Zero的骨架同样是MCTS.

　　树上每一个节点表示状态s，边表示(s,a),每条边存储$\{N(s,a),W(s,a),Q(s,a),P(s,a)\}$, $N(s,a)$表示被访问次数,$W(s,a)$表示总的action value, Q(s,a)