（十二）从零开始学人工智能-强化学习:强化学习基础算法

强化学习基础算法

上节中讲到，强化学习可以按有无模型进行分类，即智能体是否对环境进行建模；如果将强化学习问题建模成马尔可夫决策过程（MDP）的话（即五元组$<S,A,P,R,\gamma >$），那么，有无模型可以根据MDP五元组（尤其是$P$和$R$）是否已知进行判断；若已知表明智能体对环境进行了建模，能模拟出与环境相同或近似的状况，为有模型学习，否则为无模型学习。接下来，会先介绍有模型学习中基于动态规划的算法，然后会介绍无模型学习中的蒙特卡洛算法和时序差分学习。

1. 基于动态规划的算法

先回顾一下动态规划：

动态规划算法通过把复杂问题分解为子问题，通过求解子问题进而得到整个问题的解。在求解子问题的时候，其结果通常需要存储起来被用来解决后续复杂问题。

当问题具有下列特性时，通常可以考虑使用动态规划来求解：

①、一个复杂问题的最优解由子问题的最优解构成，可以通过寻找子问题的最优解来得到复杂问题的最优解；

②、子问题在复杂问题内重复出现，使得子问题的解可以被存储起来重复利用。

MDP具有以上两个属性：

①、贝尔曼方程把问题递归为求解子问题；

②、价值函数相当于存储了子问题的解，并可以重复利用。

因此，可以使用动态规划的算法来求解MDP。

1.1 策略评估

在模型已知时，对任意策略$\pi$进行评估，给出该策略获得的回报期望，即计算状态价值函数。

问题：评估一个给定的策略$\pi$；

解决方法：利用贝尔曼方程反向迭代；

具体做法：每次迭代过程中，用所有的状态$s$的第$k$次迭代得到的$v_k(s^{\prime })$来计算第$k+1$次的$v_{k+1}(s)$的值，其中$s^{\prime }$是$s$的后继状态。经过这种方法的反复迭代，最终是可以收敛到最优的$v_{\ast }(s)$。迭代的公式如下：
$$v_{k+1}(s)=\sum _{a\in A}\pi (a|s)(R_s^a+\gamma \sum _{s^{\prime }\in S}{P}_{s{s}^{\prime }}^a{v}_k(s^{\prime }))$$
例子：方格世界

已知：

①、状态空间$S$：除了灰色的两个格子（0和15），其他都是非终止状态；

②、动作空间$A$：在每个状态下，都有四种动作可以执行，即上下左右；

③、状态转移概率$P$：任何想要离开方格世界的动作将保持状态不变，即原地不动。比如：格子4执行动作“左”，则执行动作后状态仍为格子4；其他情况下将100%转移到下一个状态，比如格子4执行动作“右”，则执行动作后进入格子5；

④、即时奖励$R$：任何非终止状态间转移得到的即时奖励均为-1，进入终止状态的即时奖励为0；

⑤、折扣因子$\gamma$：1；

⑥、当前策略$\pi$：在任何一个非终止状态下，智能体采取随机策略，执行的动作是随机选择的，即：
$$\pi (up|s)=\pi (down|s)=\pi (left|s)=\pi (right|s)=0.25$$
问题：评估这个方格世界里给定的策略。也就是说，在给定策略（这里是随机策略）的情况下，求解改策略下每一个状态的价值。

求解示例：

上述方法的更新方式是更新某一状态的价值函数时用其他所有状态的价值函数在上一次迭代时的值，即第$k+1$次的结果都是利用第$k$次的结果来计算的。

状态价值函数在第153次迭代后收敛：

具体代码可参考：强化学习实践一 迭代法评估4*4方格世界下的随机策略

还有另外一种更新方式：

更新某一状态的价值函数时用其他状态最新的迭代值，而不用等所有状态一起更新，即第$k$次的迭代直接用第$k$次中先迭代好的值来计算。

1.2 策略改进

策略评估的目的是为了找到更好的策略，即策略改进。

策略改进通过按照某种规则对当前策略进行调整，得到更好的策略。

我们的目标是得到最优策略，所以，在状态价值函数收敛后，可以对策略进行改进。

在这里，可以使用贪婪算法来进行策略改进，即：
$${\pi }^{\prime }(s)=\underset{a\in A}{\mathrm{argmax}}{q}_{\pi }(s,a)$$
也就是说，仅执行那个（些）使得状态价值最大的动作。

比如上面的方格世界例子，当我们计算出最终的状态价值后：

①、对于第二行第1格，其周围的状态价值分别是0，-18和-20，此时使用贪婪法，则调整的策略方向为状态价值为0的方向，即向上；

②、对于第二行第2格，其周围的状态价值分别是-14，-14，-20和-20，此时使用贪婪法，则调整的策略方向为状态价值-14的方向，即向左或向上。

③、其他格子类似，即上图中的右图。

在上述的例子中，基于给定策略的迭代最终收敛得到的策略就是最优策略，但通过一次策略评估计算状态价值函数联合策略改进就能找到最优策略不是普遍现象。通常，还需要在改善的策略上继续评估，反复多次。不过，这种方法总能收敛至最优策略${\pi }^{\ast }$。也就是接下来介绍的策略迭代。

比如：当初始化策略改为不管任何状态都执行动作“下”，那么，该策略通过一次策略评估和策略改进的过程就无法得到最优策略。

1.3 策略迭代

策略迭代是策略评估和策略改进的结合。

基本思想：从一个初始策略开始，不断地改进这个策略达到最优解。每次迭代时首先用策略评估计算一个策略的状态价值函数，然后根据策略改进方案调整改策略，再计算新策略的状态价值函数，如此反复直到收敛。

从一个策略$\pi$和一个状态价值函数$V$开始，每一次箭头向上表示利用当前策略进行状态价值函数的更新，每一次箭头向下代表着根据更新的状态价值函数贪婪地选择新的策略，说它是贪婪的，是因为每次都采取转移到状态价值函数最高的新状态的动作。最终将收敛至最优策略和最优状态价值函数。

策略迭代算法伪代码：

注意：在上面的伪代码中，策略评估步骤中，状态价值函数的更新公式为：
$$V(s)\leftarrow {\sum }_{s^{\prime },r}p(s^{\prime },r|s,\pi (s))[r+\gamma V(s^{\prime })]$$
甚至有些人在看资料中，更新公式会写成：
$$v_{k+1}(s)=\sum _{a\in A}\pi (a|s)\sum _{s^{\prime }\in S}{p}_a(s,s^{\prime })(R_a(s,s^{\prime })+\gamma v_k(s^{\prime }))$$
而我们在上面策略评估过程中，我们的公式是这样的：
$$v_{k+1}(s)=\sum _{a\in A}\pi (a|s)(R_s^a+\gamma \sum _{s^{\prime }\in S}{P}_{s{s}^{\prime }}^a{v}_k(s^{\prime }))$$
在上述公式里面，$p_a(s,s^{\prime })$和$P_{s{s}^{\prime }}^a$的含义一样的，代表的是在状态$s$执行动作$a$后转移到状态$s^{\prime }$的概率；

上述公式其实是等价的，对比发现，其实最重要的是理解：
$$R_s^a=\sum _{s^{\prime }\in S}{p}_a(s,s^{\prime })R_a(s,s^{\prime })$$
等式左面代表的是在状态$s$执行动作$a$后得到的即时奖励的期望（这一点在上节介绍MDP五元组时有介绍）；等式右面是把执行动作$a$后可能到达的状态$s^{\prime }(s^{\prime }\in S)$进行分开讨论，先得到到达各个状态$s^{\prime }$下的即时奖励$R_a(s,$