AlphaGo Zero 简析

Mastering the Game of Go without Human Knowledge

在AlphaGo Zero里，依然使用MCTS，但是去掉了每一次simulation中rollout的过程，因为这步很费时。可以看到有ab两部分，分别为自我博弈和神经网络训练。

在self-Play中，每次move都要进行一次完整的MCTS，因为对传统的MCTS进行了改进，引入edge的概念，存储Q、P、N值，用于选择节点。因为没有rollout，所以进行一次完整的MCTS速度很快。MCTS的具体步骤看下图：

每次选择best_child的依据是 $Max(Q(s,a)+U(s,a))$, 其中：
$$Q(s,a)=1/N(s,a)\sum _{s^{\prime }|s,a\to s^{\prime }}V(s^{\prime })$$,
$$U(s,a)\propto P(s,a)/(1+N(s,a))$$
Q代表Action-value，U则代表探索性，和传统的MCTS的UCT的形式很相似。

假设每次MCTS需要进行1000次simulation，结束后，MCTS返回一个概率模型 ${\pi }_t$ ,其中 ${\pi }_t={\alpha }_{{\theta }_i-1}(s_t)\propto N(s,a{)}^{1/t}$, 这个策略是基于MCTS的，将用于校正随机初始化的神经网络。${\pi }_t$是作用于第t个状态的，根据这个概率采样选择一个行动，这个和RL中的随机策略梯度是类似的。然后到T次结束，则完成一次iteration，有了结果Z，根据第一张图，这个时候就要和self-play结合起来，存储为 $(s_t,{\pi }_t,z_t)$, zt就是最后的输赢状况，每步都是一样的，+1或是-1。
$$(p,v)=f_{\theta }(s),Loss=(z-v{)}^2+{\pi }^{T}logP+c||\theta |{|}^2$$ 每一次iteration，就是一次完整的游戏过程后，对神经网络进行梯度下降。

总之，还是要看原论文，网上有些没说全很容易搞糊涂。