强化学习基础三大优化方法：（二）蒙特卡洛

一、简介

同动态规划方法不同，蒙特卡洛方法不假设需要拥有完备的环境知识（$p(s^{\prime },r|s,a)$）。蒙特卡洛算法仅仅需要经验，即从真实环境或模拟环境中采样得到状态、动作、收益的序列。
蒙特卡洛算法通过平均样本的回报reward来解决强化学习问题。为了保证能够得到有良好定义的回报，这里只定义用于分幕式任务的蒙特卡洛算法。在分幕式任务中，我们假设一段经验可以被分为几个幕，并且无论采用怎样的动作处于怎样的状态，整个幕最后一定会走到终止。价值估计以及策略改进在整个幕终止时才进行。因此，蒙特卡洛算法是逐个幕做出改进的，而非每个幕中的每一步都有所改进。因此蒙特卡洛算法是逐幕做出改进的。
由于采取了某个动作之后的回报取决于在同一幕内后来的状态中采取的动作。由于所有动作的选择都在随时刻演进，而不间断地学习，所以从较早状态的视角来看，这个问题是非平稳的。为了处理其非平稳性，需要采用类似于动态规划中提到的广义策略迭代（GPI）的思想。即
${\pi }_0\to v_{{\pi }_0}\to {\pi }_1\to v_{{\pi }_1}\to ...\to \pi \ast \to v_{\pi \ast }$
只不过，不同于动态规划的是，动态规划的每一次价值评估都是基于马尔可夫决策过程知识从而计算出价值；而蒙特卡洛是通过多次尝试来用经验平均来估算价值，而在策略更新的过程都是相似的。

二、蒙特卡洛预测

针对于某一特定的状态$s$，我们要估计它的价值函数$v_{\pi }(s)$，按照蒙特卡洛的做法就是做很多次尝试，然后对多幕的收益进行平均，从而得出在策略$\pi$下的状态收益$v_{\pi }(s)$。但是在一幕序列中，有可能出现多次状态$s$，所以，对于这种情况的处理就分成了两个派别：首次访问型蒙特卡洛（Monte Carlo MC）算法和多次访问型MC算法。顾名思义，首次访问型MC算法就是每一幕的收益只算该状态出现的第一次；多次访问就是需要使用所有访问的平均值。首次访问型预测算法的大概流程如下：
输入：待评估的策略$\pi$
初始化：
对所有$s\in S$，任意初始化$V(s)\in R$
对所有$s\in S$，$Return(s)\leftarrow 空列表$
无限循环（对每幕）：
根据$\pi$生成一幕序列：$S_0,A_0,R_1,S_1,A_1,R_2,...,S_{T-1},A_{T-1},R_T$
$G\leftarrow \gamma G+R_{t+1}$
除非$S_t$在$S_0,S_1,...,S_{t-1}$中出现过：
将$G$加入到$Return(S_t)$
$V(S_t)\leftarrow average(Return(S_t))$

三、动作价值的蒙特卡洛估计

在没有模型的情况下，仅仅有状态价值函数是不够的。我们必须通过现实地确定每个动作的函数来确定一个策略。动作价值函数的策略评估问题的目标就是估计$q_{\pi }(s,a)$，即在策略$\pi$下从状态$s$采取动作$a$的期望回报。只需将对状态的访问改为对“状态-动作”的二元组的访问，蒙特卡洛方法就可以用几乎和之前一样的方式来解决问题。
唯一存在的问题就是，一些“状态-动作”二元组可能永远不会被访问到。如果$\pi$是一个确定性的策略，那么遵循$\pi$意味着在每一个状态只会观测到一个动作的回报。解决这个问题的思路是将指定的“状态-动作”二元组作为起点开始一幕采样，同时保证所有“状态-动作”二元组都有非零概率可以被选为起点。这样就保证在采样的幕的个数趋于无穷的时候，每一个“状态-动作”二元组都会被访问到无数次。我们将这种假设称为试探性假设。

四、蒙特卡洛控制

现在已经可以考虑如何使用蒙特卡洛估计来解决控制问题了，即如何近似最优的策略。基本思想是采用广义策略迭代（GPI）。近似于动态规划的策略迭代，蒙特卡洛算法的策略迭代只是将状态价值改为动作价值：
${\pi }_0\to q_{{\pi }_0}\to {\pi }_1\to q_{{\pi }_1}\to ...\to \pi \ast \to q_{\pi \ast }$
下面给出经典的试探性出发蒙特卡洛迭代算法：

1. 初始化：
   对所有$s\in S$，任意初始化$\pi (s)\in A(s)$
   对所有$s\in S，a\in A(s)$，任意初始化$Q(s,a)\in R$
   对所有$s\in S,a\in A(s)$，$Return(s,a)\leftarrow 空列表$
2. 无限循环（对每一幕）：
   选择$S_0\in S和A_0\in A(S_0)$以使得所有“状态-动作”二元组的概率都>0
   从$S_0,A_0$开始，根据$\pi$生成一幕序列：$S_0,A_0,R_1,S_1,A_1,R_2,...,S_{T-1},A_{T-1},R_T$
   $G\leftarrow 0$
   对幕中的每一步进行循环，$t=T-1,T-2,...,0$:
   $G\leftarrow \gamma G+R_{t+1}$
   除非二元组$S_t,A_t$在$S_0,A_0,R_1,S_1,A_1,R_2,...,S_{t-1},A_{t-1}$中已经出现过：
   将$G$加入到$Return(S_t,A_t)$
   $Q(S_t,A_t)\leftarrow average(Return(S_t,A_t))$
   $\pi (S_t)\leftarrow argma{x}_{a}Q(S_t,a)$

五、无试探性出发假设的蒙特卡洛控制

如何避免试探性出发的假设呢？一般性的解决方法就是不断选择所有可能的动作。有两种方法可以保证这一点，分别称为离轨策略和同轨策略。区别在于，同轨策略中，用于生成采样数据的策略和用于实际决策的待评估的策略是相同的，而离轨策略是不同的。

（一）、同轨策略

同轨策略方法中，策略一般是“软性”的。即对于任意的$s\in S和a\in A$都有$\pi (s|a)>0$，但是会渐近地逼近一个确定的策略。比如一种叫$\epsilon -贪心策略$，意思是在绝大多数情况都采取收益最大的动作价值函数所对应的动作，但每次选择都会以一个较小的概率$\epsilon$来随机选择一个动作。下面给出基于$\epsilon -贪心策略$的同轨策略首次访问型MC控制算法：

1. 算法参数：很小的$varepsilon>0$
2. 初始化：
   $\pi \leftarrow$一个任意的$\epsilon -软性策略$
   对所有$s\in S,a\in A(s)$，任意初始化$Q(s,a)\in R$
   对所有$s\in S,a\in A(s),Returns(s,a)\leftarrow 空列表$
3. 无限循环（对每幕）：
   1.根据$\pi$生成一幕序列：$S_0,A_0,R_1,S_1,A_1,R_2,...,S_{T-1},A_{T-1},R_T$
   2.$G\leftarrow 0$
   对幕中的每一步循环，$t=T-1,T-2,...,0$:
   $G\leftarrow \gamma G+R_{t+1}$
   除非“状态-动作”二元组$S_t,A_t$在$S_0,A_0,R_1,S_1,A_1,R_2,...,S_{t-1},A_{t-1}$已出现过：
   把$G$加入$Return(S_t,A_t)$
   $Q(S_t,A_t)\leftarrow average(Returns(S_t,A_t))$
   $A\ast \leftarrow argma{x}_{a}Q(S_t,a)$
   对于所有$a\in A(S_t)$:
   $\pi (a|S_t)\leftarrow \{\begin{array}{ll}1-\epsilon +\epsilon /|A(S_t)|& ifa=A\ast \\ \epsilon /|A(S_t)|& a\ne A\ast \end{array}$

(二)、离轨策略

所有的学习控制方法都面临一个困境：它们希望学到的动作可以使随后的智能体行为是最优的，但是为了搜索所有的动作（以保证找到最优动作），它们需要采取非最优的行动。对于上述的$\epsilon -贪心策略$，我们得到的并不是最优策略，而是近优策略，最后得到的状态价值
$v_{\pi }(s)=(1-\epsilon )ma{x}_a{\sum }_{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma v_{\pi }(s^{\prime })]+\frac{\epsilon }{|A(s)|}{\sum }_a{\sum }_{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma v_{\pi }(s^{\prime })]$。而离轨策略在数据经验采样和策略优化上完全使用两种策略。用来学习的策略被称为目标策略，用来生成行动样本的策略被称为行动策略。在这种情况下，我们认为学习所用的数据“离开”了待学习的目标策略，因此整个过程被称为离轨策略学习。

1.重要度采样

假设我们希望预测$v_{\pi }$或者$q_{\pi }$，但是采样策略要遵循另一个策略$b$。在这种情况下，$\pi$是目标策略，$b$是行动策略。为了使用从$b$得到的多幕样本序列去预测$\pi$，我们需要在$\pi$下发生的每个动作都有一定概率在$b$下发生，即对任意$\pi (a|s)>0$，我们要求$b(a|s)>0$。我们称其为覆盖假设。
几乎所有离轨策略都会使用重要度采样。重要度采样是一种在给定其他分布的样本的条件下，估计某种分布的期望的通用方法。给定起始状态$S_t$，后续的状态-动作轨迹为：$A_t,S_{t+1},A_{t+1},...,S_T$在策略$\pi$下发生的概率是
$Pr{A}_t,S_{t+1},A_{t+1},...,S_T|S_t,A_{t:T-1}\sim \pi$
$=\pi (A_t|S_t)p(S_{t+1}|S_t,A_t)\pi (A_{t+1}|S_{t+1}...p(S_T|S_{T-1},A_{T-1}))$
$=\prod _{k=t}^{T-1}\pi (A_k|S_k)p(S_{k+1}|S_k,A_k)$。
在目标策略和行动策略轨迹下的相对概率（重要度采样比）是：
$p_{t:T-1}=\frac{\prod _{k=t}^{T-1}\pi (A_k|S_k)p(S_{k+1}|S_k,A_k)}{\prod _{k=t}^{T-1}b(A_k|S_k)p(S_{k+1}|S_k,A_k)}=\frac{\prod _{k=t}^{T-1}\pi (A_k|S_k)}{\prod _{k=t}^{T-1}b(A_k|S_k)}$
使用比例系数$p_{t:T-1}$可以调整回报使其有正确的期望值
$E[p_{t:T-1}{G}_t|S_t=s]=v_{\pi }(s)$,这是一幕的策略期望回报。在我们进行了多幕的采样后，需要对状态$s$的策略价值进行评估，就需要根据重要度采样比来调整回报值并对结果进行平均即可：
$V(s)=\frac{{\sum }_{t\in T(s)}{p}_{t:T(t)-1}{G}_t}{|T(s)|}$
另外一种重要的方法就是加权重要度采样：
$V(s)=\frac{{\sum }_{t\in T(s)}{p}_{t:T(t)-1}{G}_t}{{\sum }_{t\in T(s)}{p}_{{}_{t:T(t)-1}}}$

2.增量式实现

假设我们有一个回报序列$G_1,G_2,...,G_{n-1}$，它们都从相同的状态开始，且每一个回报都对应一个随机权重$W_i$。我们希望得到一下估计，并且在获得了一个额外的回报值$G_n$时能够保持更新。
$V_n=\frac{{\sum }_{k=1}^{n-1}{W}_k{G}_k}{{\sum }_{k=1}^{n=1}{W}_k},n\ge 2$.为了能不断跟踪$V_n$的变化，必须为每一个状态维护前$n$个回报对应的权值的累加和$C_n$.$V_n$的更新方法是：
$V_{n+1}=V_n+\frac{W_n}{C_n}[G_n-V_n],n\ge 1$
以及$C_{n+1}=C_n+W_{n+1}$,其中$C_0=0$
离轨策略MC预测算法策略评估，用于估计$Q\approx q_{\pi }$：

1. 输入：一个任意的目标策略$\pi$
2. 初始化，对所有$s\in S,a\in A(s)$:
   任意初始化$Q(s,a)\in R$
   $C(s,a)\leftarrow 0$
   无限循环（对每幕）:
   $b\leftarrow$任何能包括$\pi$的策略
   根据$b$生成一幕序列：$S_0,A_0,R_1,S_1,A_1,R_2,...,S_{T-1},A_{T-1},R_T$
   $G\leftarrow 0$
   $W\leftarrow 1$
   对幕中每一步的循环，$t=T-1,T-2,...,0$,当$W\ne 0$时：
   $G\leftarrow \gamma G+R_{t+1}$
   $C(S_t,A_t)\leftarrow C(S_t,A_t)+W$
   $Q(S_t,A_t)\leftarrow Q(S_t,A_t)+\frac{W}{C(S_t,A_t)}[G-Q(S_t,A_t)]$
   $W\leftarrow W\frac{\pi (A_t|S_t)}{b(A_t|S_t)}$
   如果$W=0$，则推出内循环

3.离轨策略蒙特卡洛控制

离轨策略MC控制算法，用于估计$\pi \approx \pi \ast$

1. 初始化，对所有$s\in S,a\in A(s)$
   任意初始化$Q(s,a)\in R$
   $C(s,a)\leftarrow 0$
   $\pi (s)\leftarrow argma{x}_{a}Q(s,a)$
   无限循环（对每幕）:
   $b\leftarrow$任何能包括$\pi$的策略
   根据$b$生成一幕序列：$S_0,A_0,R_1,S_1,A_1,R_2,...,S_{T-1},A_{T-1},R_T$
   $G\leftarrow 0$
   $W\leftarrow 1$
   对幕中每一步的循环，$t=T-1,T-2,...,0$,当$W\ne 0$时：
   $G\leftarrow \gamma G+R_{t+1}$
   $C(S_t,A_t)\leftarrow C(S_t,A_t)+W$
   $Q(S_t,A_t)\leftarrow Q(S_t,A_t)+\frac{W}{C(S_t,A_t)}[G-Q(S_t,A_t)]$
   $\pi (S_t\leftarrow argma{x}_{a}Q(S_t,a))$
   如果$A_t\ne \pi (S_t)$那么退出内层循环
   $W\leftarrow W\frac{1}{b(A_t|S_t)}$