Chapter 6. Temporal-Difference Learning

6.1 TD Prediction

表格TD(0)估计 :$v_{\pi }$
输入：要评估策略 :$\pi$
算法参数：步长 :$\alpha \in (0,1]$
对所有 :$s\in {\mathbb{S}}^{+}$，除了 :$V(终点)=0$，任意初始化 :$V(s)$
对每个回合循环：
  初始化 :$S$
  对回合的每一步循环：
    $A\leftarrow$ 由 $\pi$ 给出 $S$ 的动作
    采取动作 $A$，观察 $R$，$S^{\prime }$
    $V(S)\leftarrow V(S)+\alpha \left[R+\gamma V(S^{\prime })-V(S)\right]$
    $S\leftarrow S^{\prime }$
  直到 $S$ 是终点

6.4 Sarsa: On-policy TD Control

算法参数：步长 :$\alpha \in (0,1]$，小值 :$\epsilon >0$
对所有 :$s\in (S{)}^{+}$，$a\in (A)(s)$，任意初始 $Q(s,a)$，除了 $Q(终点,\cdot )=0$
对每一个回合循环：
  初始化 :$S$
  使用从 :$Q$ 派生的策略从 $S$ 中选择 $A$（例如，$\epsilon$ -贪婪）
  对回合的每一步循环：
    采取动作 :$A$，观察 :$R$, $S^{\prime }$使用从 $Q$ 派生的策略从 $S^{\prime }$ 中选择 $A^{\prime }$（例如，$\epsilon$ -贪婪）
    $Q(S,A)\leftarrow Q(S,A)+\alpha \left[R+\gamma Q\left(S^{\prime },A^{\prime }\right)-Q(S,A)\right]$
    $S\leftarrow S^{\prime }$；$A\leftarrow A^{\prime }$；
  直到 $S$ 是终点

6.5 Q-learning: Off-policy TD Control

算法参数：步长 :$\alpha \in (0,1]$，小值 :$\epsilon >0$
对所有 :$s\in (S{)}^{+}$，$a\in (A)(s)$，任意初始 $Q(s,a)$，除了 $Q(终点,\cdot )=0$
对每一个回合循环：
  初始化 $S$
  对回合的每一步循环：
    使用从 $Q$ 派生的策略从 $S$ 中选择 $A$（例如，$\epsilon$ -贪婪）
    采取动作 $A$，观察 $R$, $S^{\prime }$
    $Q(S,A)\leftarrow Q(S,A)+\alpha \left[R+\gamma {\max }_{a}Q\left(S^{\prime },a\right)-Q(S,A)\right]$
     $S\leftarrow S^{\prime }$
  直到 $S$ 是终点