AlphaGo原理浅析

AlphaGo

论文：
　　AlphaGo:《Mastering the game of Go with deep neural networks and tree search》

核心部件：

　　- 监督学习的策略网络(SL policy network)
　　　　13layers CNN network
　　　　输入：当前state
　　　　输出：所有可能action的概率分布
　　　　更新策略：
　　　　　　

$$\Delta\sigma\propto\frac{\partial\log p_\sigma(a|s)}{\partial \sigma}$$
　　- 速度快但准确率不如SL的策略网络(fast rollout policy network)
　　linear softmax of small pattern features with weights $\pi$
　　　　
　　- 强化学习的策略网络(RL policy)
　　网络结构与SL相同，所有参数初始化为与SL参数相同,即在SL的基础上利用policy gradient reinforcement learning再进行训练。
　　　　 $$\Delta\rho\propto\frac{\partial\log p_\rho(a_t|s_t)}{\partial\rho}z_t$$
　　其中， $reward z_t= \begin{cases} 0& \text{t is non-terminal time step}\\ 1& \text{t is terminal time step} \end{cases}$
　　- 价值评估网络(value network)
　　评估在状态s下采取策略p
　　 $$v^p(s)=E[z_t|s_t=s,a_{t...T}\sim p]$$
　　理想状态下，我们可以有一个最优的value function $v^*(s)$,但实际上，我们利用RL policy network估计 $v^{p_\rho}$来近似 $v^*(s)$.value network的目标就是建立以 $\theta$为参数的网络，输出 $v_\theta(s)$, $v_\theta(s)\approx v^{p_\rho} \approx v^*(s)$.
　　网络目标是最小化估计值 $v_\theta(s)$与对应输出z之间的均方误差
　　 $$\Delta\theta \propto \frac {\partial v_\theta(s)}{\partial\theta}(z-v_\theta(s))$$
　　

骨架：

　　MCTS(Monte Carlo Tree Search)
　　
　　Selection:
　　每条边$(s,a)$存储了action value$Q(s, a)$,访问次数$N(s, a)$,先验概率$P(s,a)$.在每次仿真中，从根节点开始，t时刻位于状态$s_t$时，根据
　　

$$a_t=\mathop{argmax}\limits_a(Q(s_t,a)+u(s_t,a))$$
选择action.其中， $u(s,a)\propto\frac{P(s,a)}{1+N(s,a)}$用于鼓励探索。
　　Expansion&Evaluation:
　　经过L步之后到达某一叶子节点 $s_L$,到达叶子节点时，将 $s_L$通过SL网络输出每个legal action a的概率分布， $P(s,a)=p_\sigma(a|s)$，将树进行扩展。同时，将叶子节点通过value network计算 $v_\theta(s_L)$，通过fast rollout policy $p_\pi$快速到达terminal step得到reward $z_L$，利用参数 $\lambda$将二者结合起来
　　 $$V(s_L)=(1-\lambda)v_\theta(s_L)+\lambda z_L$$
　　Backup:
　　结束仿真之后，所有被访问过的边的action values和visit counts将被更新。
　　 $$N(s,a)=\sum_{i=1}^n \pmb1(s,a,i)$$
　　 $$Q(s,a)=\frac{1}{N(s, a)}\sum_{i=1}^n \pmb1(s,a,i)V(s_L^i)$$
　　 $s_L^i$是第i次模拟的叶子节点。

　　

---