Chapter 5. Monte Carlo Methods

5.1 Monte Carlo Prediction

初始化：
​   $\pi \leftarrow$ 需要估计的策略
​    $V\leftarrow$ 随机的价值状态函数
​   $Returns(s)\leftarrow$ 一个空的列表，对所有 $s\in S$
一直循环：
​   使用$\pi$生成一个回合（episode）
​   对于回合中的每一个状态$s$：
​     $G\leftarrow$ $s$首次出现后的回报（return）
​     将$G$添加到列表$Returns(s)$中
​     $V(s)\leftarrow average(Returns(s))$

5.2 Monte Carlo Estimation of Action Values

5.3 Monte Carlo Control

探索开端的蒙特卡洛算法（Monte Carlo ES）
初始化，对所有的$s\in S,a\in A(s)$:
  $Q(s,a)\leftarrow$ 随机数
  $\pi (s)\leftarrow$ 随机数
  $Returns(s,a)\leftarrow$ 空表
一直循环：
​  选择状态$S_0\in S$和动作$A_0\in A(S_0)$，所有状态-动作对的概率大于0
​  从$S_0,A_0$开始，遵循策略$\pi$，生成一个回合
​  对于这个回合中的每个出现的$s,a$对：
​​  ​  $G\leftarrow$ $s,a$对的回报（只计算首次出现的$s,a$对）
​​  ​  将$G$添加到$Returns(s,a)$里
​​  ​  $Q(s,a)\leftarrow average(Returns(s,a))$
​​​  ​  对于这个回合里的每个状态$s$：
​​​  ​  $\pi (s)\leftarrow arg\underset{a}{\max }Q(s,a)$

5.4 Monte Carlo Control without Exploring Starts

在策略first-visit蒙特卡洛控制（对于$ϵ-soft$策略）
初始化，对所有的$s\in S,a\in A(s)$：
​  $Q(s,a)\leftarrow$ 随机值
​  $Returns(s,a)\leftarrow$ 空表
​  $\pi (a|s)\leftarrow$ 一个随机的$ϵ-soft$策略
一直循环：
（a）使用策略$\pi$生成一个回合
​（b）对回合中出现的每个$s,a$对：
​     $G\leftarrow$ 回报（遵循$s,a$对的首次出现原则）
​     将$G$添加到表$Returns(s,a)$中
​     $Q(s,a)\leftarrow average(Returns(s,a))$
​（c）对回合中的每个$s$：
​     $A^{\ast }\leftarrow arg\underset{a}{\max }Q(s,a)$
​     对所有的$a\in A(s)$：
$$\pi (a|s)\leftarrow \{\begin{array}{rclc}1-ϵ+\frac{ϵ}{|A(s)|}& & if& a=A^{\ast }\\ \frac{ϵ}{|A(s)|}& & if& a̸=A^{\ast }\end{array}$$

5.5 Off-policy Prediction via Importance Sampling

为了估计$v_{\pi }(s)$，我们用重要性采样率来缩放回报，然后求平均：
$$V(s)\doteq \frac{{\sum }_{t\in J(s)}{\rho }_t^{T(t)}{G}_t}{|J(s)|}.\text{\hspace{1em}(5.4)}$$
当重要性采样只是以上面的简单求平均的方式，我们称为原始重要性采样（ordinary importance sampling）。

另一个选择是加权重要性采样（weighted importance sampling），它使用了加权平均，定义为
$$V(s)\doteq \frac{{\sum }_{t\in J(s)}{\rho }_t^{T(t)}{G}_t}{{\sum }_{t\in J(s)}{\rho }_t^{T(t)}},\text{\hspace{1em}(5.5)}$$
假设分母为零，加权重要性采样也为零。

5.6 Incremental Implementation

增量式的离策略every-visit MC 策略评估
初始化，对所有$s\in \mathcal{S},a\in \mathcal{A}(s)$：
​ $Q(s,a)\leftarrow$ 随机值
​ $C(s,a)\leftarrow 0$
​ $\mu (a|s)\leftarrow$ 随机的软的行为策略
​ $\pi (a|s)\leftarrow$ 随机的目标策略
一直循环：
​  使用策略$\mu$生成回合：
  ​$S_0,A_0,R_1,...,S_{T-1},A_{T-1},R_T,S_T$
​  $G\leftarrow 0$
  ​$W\leftarrow 1$
  ​$fort=T-1,T-2,...0$：
​    $G\leftarrow \gamma G+R_{t+1}$
    ​$C(S_t,A_t)\leftarrow C(S_t,A_t)+W$
    ​$Q(S_t,A_t)\leftarrow Q(S_t,A_t)+\frac{W}{C(S_t,A_t)}[G-Q(S_t,A_t)]$
​    $W\leftarrow W\frac{\pi (A_t|S_t)}{\mu (A_t|S_t)}$
​    如果$W=0$， 退出$for$循环

5.7 Off-policy Monte Carlo Control

离策略every-visit MC 控制（返回$\pi \approx {\pi }_{\ast }$）
初始化，对于所有的$s\in \mathcal{S},a\in \mathcal{A}(s)$：
​$Q(s,a)\leftarrow$ 随机数
​$C(s,a)\leftarrow 0$
​$\pi (s)\leftarrow$ 对$Q$而言贪心的确定性策略
一直循环：
  ​用任意soft策略$\mu$生成一个回合：
  $S_0,A_0,R_1,...,S_{T-1},A_{T-1},R_T,S_T$
  $G\leftarrow 0$
  $W\leftarrow 1$
  $fort=T-1,T-2,...0$：
​    $G\leftarrow \gamma G+R_{t+1}$
    ​$C(S_t,A_t)\leftarrow C(S_t,A_t)+W$
​    $Q(S_t,A_t)\leftarrow Q(S_t,A_t)+\frac{W}{C(S_t,A_t)}[G-Q(S_t,A_t)]$
    ​$\pi (S_t)\leftarrow arg\underset{a}{\max }Q(S_t,a)$
    ​如果$A_t̸=\pi (S_t)$，跳出$for$循环
​    $W\leftarrow W\frac{1}{\mu (A_t|S_t)}$