强化学习——不完全观测问题、MCTS

前言

本文的知识点总结自《深度学习强化学习》，如有错误，欢迎指出

不完全观测问题

前面几篇博客介绍的强化学习算法，智能体都可以从环境中获知总体状态，类似于MOBA类游戏的观战系统，可以观测到地图上双方的动向。然而在某些场景下，智能体只能从环境中获知局部状态，例如王者荣耀中，视野机制导致每位玩家仅能看到整个地图中的一小部分状态。

设$t$时刻智能体观测到的状态为$o_t$，我们可以仅依据$o_t$让策略网络做出决策，但这么做效果通常不佳。一个更好的策略是让策略网络依据过去$t$个时刻观测到的状态进行预测，即策略网络的输入为$[o_1、o_2、...、o_t]$这一序列。可以使用RNN、LSTM、Transformer等模型处理此类序列化数据。

如上图所示，以RNN为例，观测到$n$时刻的状态$o_n$时，将序列$[o_1、o_2、...、o_n]$输入到$n$个CNN中，$n$个CNN的输出在经过RNN的处理，RNN的第$n$个输出输入到全连接网络中，全连接网络的输出智能体执行每个动作的概率

MCTS

MCTS（蒙特卡洛树搜索）是强化学习中一个很重要的方法，被应用于包括Alpha Go、Alpha Go Zero在内的诸多强化学习算法。MCTS的基本原理就是模拟未来可能发生的情况，从而找出最优的动作，可以看成是有智慧的枚举，这也意味着MCTS会消耗大量算力。

MCTS每次模拟都会选择一个动作，执行完这个动作后，把一局游戏进行到底，依据胜负来评价该动作的好坏。MCTS包括选择（Selection）、扩展（expansion）、模拟（Simulation）、回溯（Backup）四个步骤。值得一提的是，策略网络和价值网络会辅助MCTS的计算，在进行MCTS前，需要提前训练好策略网络与价值网络。

选择

假设动作空间中存在$n$个动作，MCTS的“选择”步骤就是选出其中胜算较高的动作，其通过模拟计算出的动作价值以及策略网络$\pi (a|s;\theta )$给出的动作评分（概率值）来评估动作$a$的好坏。具体而言，其通过下式评价一个动作的好坏：
$$score(a)=Q(a)+\frac{\alpha }{1+N(a)}\pi (a|s;\theta )\text{\hspace{1em}(1.0)}$$
其中

• $\alpha$为超参数
• $N(a)$表示动作$a$被已经被选中的次数，初始阶段$N(a)=0$，动作$a$每被选择一次，$N(a)+1$
• $Q(a)$表示之前$N(a)$次模拟计算出的动作价值，主要由胜率和价值函数决定。动作$a$每被选中一次，就会更新一次$Q(a)$

当动作$a$没被选择过时，$Q(a)$和$N(a)$均为0，此时score(a)完全由策略网络决定。当动作$a$被选择的次数很多时，$Q(a)$对score(a)的影响会越来越大，即score(a)的取值更依赖于依据过去模拟计算出的动作价值（即实际情况，而不是策略网络的预测）。系数$\frac{\alpha }{1+N(a)}$的一个作用是鼓励MCTS选择历史执行次数较少的动作，假设两个动作具有类似的$Q(a)$和$\pi (a|s;\theta )$，则$N(a)$较小的动作将被选中。

在选择阶段，MCTS选择式1.0取值最大的动作，让智能体在模拟器中执行该动作（不是实际场景）。

扩展

智能体在模拟器中执行完第一步“选择”中选中的动作后，通过扩展阶段模拟对手做出的下一步动作。MCTS可以通过提前训练好的策略网络$\pi (a|s_t;\theta )$模拟对手，根据策略网络的输出概率抽取动作。值得一提的是，MCTS在模拟器中执行完动作后，模拟器需要返回一个新的状态，因此模拟器需要模拟实际的状态转移函数。对于大多数问题，例如无人驾驶等，模拟实际的状态转移函数相当困难。但是对于MOBA类游戏、围棋等较为简单的问题，对手做出的动作后，棋盘、游戏对局的情况就是模拟器中的下一个状态，因此只需要训练一个足够模拟实际情况的策略网络即可模拟状态转移函数。

模拟

“选择”和“扩展”阶段，智能体本身和对手都选择了一个动作，并在模拟器中执行，得到新的状态$s_{t+1}$。而在模拟阶段，双方将通过提前训练好的两个策略网络模拟后续的对局情况，依据后续的对局情况计算状态$s_{t+1}$的价值。以围棋为例，AlphaGo在这个阶段将通过两个策略网络模拟对局，直到对局结束。如果己方获胜，那么奖励$r$的取值为1，反之则为-1。此外，AlphaGo引入了提前训练好的价值网络$V(s;\theta )$，用于评价状态$s_{t+1}$的优劣。AlphaGo对状态$s_{t+1}$的评价$v(s_{t+1})$为：

$$v(s_{t+1})=\frac{r+V(s_{t+1};\theta )}{2}$$
由于依据策略网络输出的概率进行抽样，因此在状态$s_{t+1}$上每次模拟执行的动作可能有所不同。MCTS在状态$s_{t+1}$上的模拟将会进行多次，如下图所示，一个状态$s_{t+1}$含有多个评价。

回溯

依据上一节的内容，第$t$步执行的动作$a_t$下含有多个关于状态的记录，这些状态的平局值即为式1.0中的$Q(a)$。这个数值将用于下一轮迭代时计算式1.0（上述四个流程构成MCTS的一次迭代，MCTS会重复上述四个步骤多次）。

决策

在进行成千上万次迭代模拟后，MCTS选择在状态$t$时执行次数最多的动作，即$a=\underset{a}{\mathrm{argmax}}N(a)$。看完MCTS的原理后，不难理解为什么AlphaGo和AlphaGo Zero能赢人类，其实就是靠算力暴力碾压。

价值网络与策略网络的训练

前面提到过，MCTS需要使用提前训练好的价值网络和策略网络辅助。本小节将总结AlphaGo和AlphaGo Zero中训练两个网络的方式。

AlphaGo

AlphaGo训练策略网络的流程为

• 使用监督数据训练策略网络$\pi (a|s;\theta )$
• 设第一步完全训练完的策略网络为$\pi (a|s;{\theta }_{now})$，随机选择一份训练时的策略网络$\pi (a|s:{\theta }_{old})$（参数固定）。让两个策略网络模拟对局，若$\pi (a|s;{\theta }_{now})$胜利，则回报$u$为1，否则为-1。接着使用REINFORCE更新策略网络$\pi (a|s;{\theta }_{now})$的参数，重复上述过程直至收敛。

依据上述过程，可得一系列的状态数组$(s_t,u_t)$，利用上述数据，让价值网络$v(s;\theta )$进行监督学习，损失函数为MSE：
$$L(\theta )=\frac{1}{N}\sum _{t=1}^N[v(s_t;\theta )-u_t{]}^2$$

AlphaGo Zero

AlphaGo Zero利用提前准备好的MCTS（例如AlphaGo）模拟两个玩家的对弈情况。基于当前的状态$s_t$，MCTS经过多次模拟后，可以得到$n$个动作的执行次数$N(1)、N(2)、...、N(n)$，对其进行归一化得到$p_t$，即$$p_t=normalize([N(1),N(2),...,N(n)])$$
设MCTS模拟的两个玩家经过$m$个步骤后结束一次对局，可以分别得到两个玩家的一系列轨迹
$$(s_1,p_1,u_1)、(s_2,p_2,u_2)、...、(s_m,p_m,u_m)$$
对于胜者，回报$u_1=u_2=...=u_m=1$。对于败者，回报$u_1=u_2=...=u_m=-1$，利用上述数据更新策略网络和价值网络（注意对于胜者和败者，轨迹数据中的$s$和$p$是不同的）

对于策略网络$\pi (a|s_t;\theta )$，其使用监督学习训练，设H(x,y)为交叉熵损失，则损失函数为
$$L(\theta )=\frac{1}{N}\sum _{i=1}^{N}H(p_i,\pi (a|s_i;\theta ))$$

更新价值网络的方式与AlphaGo一致。具体的训练流程就是重复下列三个步骤直至算法收敛：

1. 让MCTS自我博弈，完成一局游戏，收集到m个三元组$(s_1,p_1,u_1)、(s_2,p_2,u_2)、...、(s_m,p_m,u_m)$
2. 依据上述三元组，更新策略网络参数
3. 依据上述三元组，更新价值网络参数

由此可得DeepMind是土豪。