【强化学习的数学原理】第五课：蒙特卡洛方法

【例子】

【抛硬币】

• 方法1（基于模型的）：
  $$p(X=1)=0.5,p(X=-1)=0.5$$

  $$\mathbb{E}[X]=\sum _{x}xp(x)=1\times 0.5+(-1)\times 0.5=0$$

  问题：我们很难得到这么精确的概率

• 方法2（没有模型的）：将硬币抛掷非常多次 { x 1 , x 2 , … , x N } \left\{x_1, x_2, \ldots, x_N\right\} {x1​,x2​,…,xN​}，然后计算平均值
  $$\mathbb{E}[X]\approx \bar{x}=\frac{1}{N}\sum _{j=1}^N{x}_j$$
  问题：当N非常小的时候是非常不精确的，但是随着N增大也随之精确（大数定理）
  $$\begin{array}{rl}\mathbb{E}[\bar{x}]& =\mathbb{E}[X],\\ \mathrm{Var}[\bar{x}]& =\frac{1}{N}\mathrm{Var}[X]\end{array}$$
  

问题1：我们为什么需要蒙特卡洛方法？

回答：因为它不需要模型

问题2：我们为什么关注于均值？

回答：因为state value和action value是随机变量的期望

【MC Basic】

主要问题：如何把policy iteration 变成 model-free 的

policy iteration：
$$\{\begin{array}{l}\text{ Policy evaluation: }{v}_{{\pi }_k}=r_{{\pi }_k}+\gamma P_{{\pi }_k}{v}_{{\pi }_k}\\ \text{ Policy improvement: }{\pi }_{k+1}=\arg {\max }_{\pi }\left(r_{\pi }+\gamma P_{\pi }{v}_{{\pi }_k}\right)\end{array}$$
其中policy improvement：
$$\begin{array}{rl}{\pi }_{k+1}(s)& =\arg \underset{\pi }{\max }\sum _a\pi (a\mid s)\left[\sum _{r}p(r\mid s,a)r+\gamma \sum _{s^{\prime }}p\left(s^{\prime }\mid s,a\right)v_{{\pi }_k}\left(s^{\prime }\right)\right]\\ & =\arg \underset{\pi }{\max }\sum _a\pi (a\mid s)q_{{\pi }_k}(s,a),s\in \mathcal{S}\end{array}$$
关键在于$q_{{\pi }_k}(s,a)$：

• action value1（依赖模型）：不使用×
  $$q_{{\pi }_k}(s,a)=\sum _{r}p(r\mid s,a)r+\gamma \sum _{s^{\prime }}p\left(s^{\prime }\mid s,a\right)v_{{\pi }_k}\left(s^{\prime }\right)$$

• action value2（不依赖模型）：使用√
  $$q_{{\pi }_k}(s,a)=\mathbb{E}\left[G_t\mid S_t=s,A_t=a\right]$$

✨对action value的蒙特卡洛估计过程：

• 从 $(s,a)$ 开始依据策略 ${\pi }_k$ 获得 episode
• 得到 episode 的 discounted return 用 $g(s,a)$ 表示
• $g(s,a)$ 是 $G_t$ 的一个采样：$q_{{\pi }_k}(s,a)=\mathbb{E}\left[G_t\mid S_t=s,A_t=a\right]$
• 假设我们有一个集合 $\left\{g^{(j)}(s,a)\right\}$
• 我们可以用这些采样的平均值来估计这个 $G_t$ ： $q_{{\pi }_k}(s,a)=\mathbb{E}\left[G_t\mid S_t=s,A_t=a\right]\approx \frac{1}{N}{\sum }_{i=1}^N{g}^{(i)}(s,a)$

当没有模型的时候要有数据，没有数据的时候要有模型

✨MC Basic algorithm：

• 给定初始策略 ${\pi }_0$ ，会有k次迭代
  1. policy evaluation：对所有的$(s,a)$计算$q_{{\pi }_k}(s,a)$（方法如上所述）
  2. policy improvement：求解优化问题${\pi }_{k+1}(s)=\arg {\max }_{\pi }{\sum }_a\pi (a\mid s)q_{{\pi }_k}(s,a)$

和policy iteration步骤是一样的，唯一的区别是计算$q_{{\pi }_k}(s,a)$的方法不一样

✨MC Basic伪代码：

• 初始化：${\pi }_0$
• 目标：寻找最优策略
• 过程：假设未收敛，对于第k次迭代
  • 对每个状态$s\in \mathcal{S}$
    • 对每个action $a\in \mathcal{A}(s)$：计算$(s,a)$出发得到的很多的episode，计算他的均值为$q_{{\pi }_k}(s,a)$
    • $a_k^{\ast }(s)=\arg {\max }_a{q}_{{\pi }_k}(s,a)$
    • $\begin{array}{rl}& {\pi }_{k+1}(a\mid s)=1\text{ if }a=a_k^{\ast },\text{ 并且 }{\pi }_{k+1}(a\mid s)=0\end{array}$

✨MC Basic小结：

• MC Basic是策略迭代算法的一个变体。
• MC Basic是在基于模型的基础上研究的无模型算法，所以第一步应该先研究原本模型
• MC Basic由于效率低不使用
• MC Basic直接估计的是action value而不是state value是因为state value不能直接改进策略
• 由于原本策略收敛，所以MC Basic也是收敛的

✨MC Basic例子：

• $r_{\text{boundary }}=-1,r_{\text{forbidden }}=-1,r_{\text{target }}=1,\gamma =0.9$

• 第一步：policy evaluation，计算$q_{{\pi }_k}(s,a)$（9 states $\times 5$ actions $=45$ state-action）

  • 从$(s_1,a_1)$开始，episode是$s_1\stackrel{a_1}{⟶}{s}_1\stackrel{a_1}{⟶}{s}_1\stackrel{a_1}{⟶}\dots$
    $$q_{{\pi }_0}\left(s_1,a_1\right)=-1+\gamma (-1)+{\gamma }^2(-1)+\dots$$

  • 从$(s_1,a_2)$开始，episode是$s_1\stackrel{a_2}{⟶}{s}_2\stackrel{a_3}{⟶}{s}_5\stackrel{a_3}{⟶}\dots$
    $$q_{{\pi }_0}\left(s_1,a_2\right)=0+\gamma 0+{\gamma }^{2}0+{\gamma }^3(1)+{\gamma }^4(1)+\dots$$

  • 从$(s_1,a_3)$开始，episode是$s_1\stackrel{a_3}{⟶}{s}_4\stackrel{a_2}{⟶}{s}_5\stackrel{a_3}{⟶}\dots$
    $$q_{{\pi }_0}\left(s_1,a_3\right)=0+\gamma 0+{\gamma }^{2}0+{\gamma }^3(1)+{\gamma }^4(1)+\dots$$

  • 从$(s_1,a_4)$开始，episode是$s_1\stackrel{a_4}{⟶}{s}_1\stackrel{a_1}{⟶}{s}_1\stackrel{a_1}{⟶}\dots$
    $$q_{{\pi }_0}\left(s_1,a_4\right)=-1+\gamma (-1)+{\gamma }^2(-1)+\dots$$

  • 从$(s_1,a_5)$开始，episode是$s_1\stackrel{a_5}{⟶}{s}_1\stackrel{a_1}{⟶}{s}_1\stackrel{a_1}{⟶}\dots$
    $$q_{{\pi }_0}\left(s_1,a_5\right)=0+\gamma (-1)+{\gamma }^2(-1)+\dots$$

• 第二部：policy improvement：选择 greedy action， $a^{\ast }(s)=\arg {\max }_{a_i}{q}_{{\pi }_k}(s,a)$

  • 最大：$q_{{\pi }_0}\left(s_1,a_2\right)=q_{{\pi }_0}\left(s_1,a_3\right)$
  • 策略更新：${\pi }_1\left(a_2\mid s_1\right)=1$ or ${\pi }_1\left(a_3\mid s_1\right)=1$.

【MC Exploring Starts】

• visit：每个state-action对在episode中叫做一个visit

• MC Basic：采用的策略是initial-visit method，只考虑$(s_1,a_2)$，用剩下的所得到的return来估计$(s_1,a_2)$的action value。

  没有充分利用episode，例如我从下图$s_2$出发，这样就是一个新的episode就可以用来估计$(s_2,a_4)$，有许多多余的计算

  

数据利用高效：

• first-visit：后边的第二次出现其后边的就不用来进行估计了

• every-visit：后边的都用

什么时候更新策略：

• 第一种方法：从一个state-action pair出发的episode全部收集做平均值来估计action-value
  • 问题：它需要等，浪费时间资源
• 第二种方法：利用一个episode来估计action value，然后改进策略不断轮询这样效率提升

Generalized policy iteration（GPI）：指在政策评价和政策改进过程之间转换的一般思想或框架

✨MC Exploring Starts伪代码：

• 初始化：${\pi }_0$

• 目标：寻找最优策略

• 过程：随机选择开始 state-action $(s_0,a_0)$，依据当前策略生成episode $T:s_0,a_0,r_1,\dots ,s_{T-1},a_{T-1},r_T$

  • 初始化$g\leftarrow 0$
  • 对每一步episode，$t=T-1,T-2,\dots ,0$,
    • $g\leftarrow \gamma g+r_{t+1}$
    • 如果$\left(s_t,a_t\right)$不在episode中：
      • $\mathrm{Returns}\left(s_t,a_t\right)\leftarrow \mathrm{Returns}\left(s_t,a_t\right)+g$
      • $q\left(s_t,a_t\right)=\mathrm{average}\left(\mathrm{Returns}\left(s_t,a_t\right)\right)$
      • $\pi \left(a\mid s_t\right)=1$ if $a=\arg {\max }_{a}q\left(s_t,a\right)$

  

✨为什么需要Exploring Starts：

Exploring ：从每一个$(s,a)$，我都有这个episode，我才能用后面生成的reward来估计return，进一步估计action value。

由于依赖于后面的reward，所以需要确保每一个都能访问到防止少访问了一个可能这个是最优解所以导致前面的都不是最优的

starts：我要访问每一个$(s,a)$，从它后面能够生成reward的这些数据。一种是从$(s,a)$开始一个episode也就是start，另外一种是从其他$(s,a)$开始但是能够经过当前的这个$(s,a)$，后面的数据可以用来估计当前的return也就是visit。

就是reward从前面走还是从后面走

【MC $\epsilon$-Greedy】

$$\pi (a\mid s)=\{\begin{array}{ll}1-\frac{\epsilon }{|\mathcal{A}(s)|}(|\mathcal{A}(s)|-1),& \text{ for the greedy action, }\\ \frac{\epsilon }{|\mathcal{A}(s)|},& \text{ for the other }|\mathcal{A}(s)|-1\text{ actions. }\end{array}$$

$\epsilon \in [0,1]$，$|\mathcal{A}(s)|$是$s$对应的action个数。

我们虽然给了其他的action一些选择的概率，但是greedy action的概率比其他的要大：$1-\frac{\epsilon }{|\mathcal{A}(s)|}(|\mathcal{A}(s)|-1)=1-\epsilon +\frac{\epsilon }{|\mathcal{A}(s)|}\ge \frac{\epsilon }{|\mathcal{A}(s)|}$

✨为什么使用$\epsilon$-Greedy：

用来平衡exploitation和exploration

exploitation：充分利用的意思，我在一个状态有许多的action，发现这个action很大，那么我在下一时刻应该采取这个action，未来相信会获得更多的reward。

exploration：探索，虽然现在知道这个action会获得更多的reward但说不定现在信息不完备，说不定应该去探索其他的action，说不定其他的action value也是很好的

• $\epsilon =0$，变得greedy，减少探索
• $\epsilon =1$，探索增强但是最大和exploitation一样

$✨\epsilon$-Greedy与MC-based RL algorithms结合

原始：
$${\pi }_{k+1}(s)=\arg \underset{\pi \in \Pi }{\max }\sum _a\pi (a\mid s)q_{{\pi }_k}(s,a)$$

$${\pi }_{k+1}(a\mid s)=\{\begin{array}{ll}1,& a=a_k^{\ast }\\ 0,& a\ne a_k^{\ast }\end{array}$$

$a_k^{\ast }=\arg {\max }_a{q}_{{\pi }_k}(s,a)$

现在：
$${\pi }_{k+1}(s)=\arg \underset{\pi \in {\Pi }_{\epsilon }}{\max }\sum _a\pi (a\mid s)q_{{\pi }_k}(s,a)$$
${\Pi }_{\epsilon }$是所有 $\epsilon$-greedy 策略
$${\pi }_{k+1}(a\mid s)=\{\begin{array}{ll}1-\frac{|\mathcal{A}(s)|-1}{|\mathcal{A}(s)|}\epsilon ,& a=a_k^{\ast }\\ \frac{1}{|\mathcal{A}(s)|}\epsilon ,& a\ne a_k^{\ast }\end{array}$$
使用这个策略不需要exploring starts这个条件了

✨MC $\epsilon$-Greedy伪代码：

• 初始化：$ϵ\in [0,1]$

• 目标：寻找最优策略

• 随机选择开始 state-action $(s_0,a_0)$，依据当前策略生成episode $T:s_0,a_0,r_1,\dots ,s_{T-1},a_{T-1},r_T$

  • 初始化$g\leftarrow 0$

  • 对于episode的每一步$t=T-1,T-2,\dots ,0$

  • $g\leftarrow \gamma g+r_{t+1}$

  • 使用every-visit方法：若$\left(s_t,a_t\right)$不在$\left(s_0,a_0,s_1,a_1,\dots ,s_{t-1},a_{t-1}\right)$

    • $\mathrm{Returns}\left(s_t,a_t\right)\leftarrow \mathrm{Returns}\left(s_t,a_t\right)+g$

    • $q\left(s_t,a_t\right)=\mathrm{average}\left(\mathrm{Returns}\left(s_t,a_t\right)\right)$

    • Let $a^{\ast }=\arg {\max }_{a}q\left(s_t,a\right)$ and
      $$\pi \left(a\mid s_t\right)=\{\begin{array}{ll}1-\frac{|\mathcal{A}\left(s_t\right)|-1}{|\mathcal{A}\left(s_t\right)|}ϵ,& a=a^{\ast }\\ \frac{1}{|\mathcal{A}\left(s_t\right)|}ϵ,& a\ne a^{\ast }\end{array}$$

✨MC $\epsilon$-Greedy例子：

$\epsilon =1$下具有最强的探索能力：

$ϵ$比较小下探索能力也减小：