【强化学习】CH5 无模型控制

CH5 无模型控制（Model-free Control)

5.1 简介

无模型控制：在未知MDP中通过调整策略优化值函数

可解决的问题：MDP模型未知，尽可以采样得到经验；

​ MDP模型已知，但是太大了只能进行采样。

On and Off-Policy Learning

• On-Policy learning: 从执行策略$\pi$所得的采样序列去优化学习策略$\pi$ (边学习边改进自身)
• Off-Policy learning:从执行策略$\mu$所得的采样序列去优化学习策略$\pi$（观察别人以改进自身）

5.2 On-Policy 蒙特卡洛控制

5.2.1 广义策略迭代（Generalised Policy Iteration)

评估策略$\pi$的值函数，依据此值函数进一步改进策略$\pi$,再进行评估，直至收敛至最佳

5.2.2 探索

1️⃣贪婪策略探索

基于动作价值函数的贪婪策略改进，选择动作价值函数最大的动作执行,以概率1执行。
$${\pi }^{\prime }(s)=argma{x}_{a\in A}Q(s,a)$$
存在的问题：

• 从初始出现较优者时，策略会一直选择较优者以致于较优者越来越优，有可能错过潜在的更优选择。
• 改进：$ϵ-GreedyExploration$

2️⃣ $ϵ-GreedyExploration$

基于动作价值函数的贪婪策略改进,以概率$1-ϵ$执行动作价值函数最大的动作，**以概率$ϵ$**选择其他动作。（在策略中加入$ϵ$的概率跳出局部最优）

在$m$个动作中，执行动作a的概率是
$$\pi (a|s)=\{\begin{array}{r}ϵ/m+1-ϵifa\ast =argma{x}_{a\in A}Q(s,a)\\ ϵ/motherwise\end{array}$$

为加快收敛速度，在评估时使用估值，在未完全评估时即进行策略改进。

5.2.3 GLIE

GLIE(Greedy in the limit with infinite exploration):在无限次探索中达到贪婪极限

性质：

• 所有状态-动作对都被无限次探索

$$\underset{k->\infty }{\lim }{N}_k(s,a)=\infty$$

• 该策略收敛于普通贪婪策略，即最后以概率1取状态动作值函数最大的动作

$$\underset{k->\infty }{\lim }{\pi }_k(a|s)=1(a=\underset{a^{\prime }\in A}{\mathrm{argmax}}Q(s,a^{\prime }))$$

注：只有当${ϵ}_k=\frac{1}{k}$时，$ϵ-GreedyExploration$才是$GLIE$

GLIE蒙特卡洛控制：

第使用策略$\pi$得到的k个采样序列$S_1,A_1,R_2,...,S_T$

对于此序列的每个状态动作对$(S_t，A_t)$:
$$\begin{gathered} N(S_t,A_t)<-N(S_t,A_t)+1 \\ Q(S_t,A_t)<-Q(S_t,A_t)+\frac{1}{N(S_t,A_t)}(G_t-Q(S_t,A_t)) \\ "增量更新" \end{gathered}$$
基于状态动作值函数改进策略：
$$\begin{gathered} ϵ\leftarrow 1/k \\ \pi \leftarrow ϵ-greedy(Q) \end{gathered}$$
注:GLIE蒙特卡洛控制的值函数收敛于最优状态动作值函数

5.3 On-Policy 差分学习

5.3.1 $Sarsa(0)$

状态动作值函数的计算：使用下一状态与下一状态会采取的动作的状态动作值函数（$G_t$的近似）进行更新（均使用策略$\pi$学习）
$$Q(S,A)<-Q(S,A)+\alpha (R+\gamma Q(S^{\prime },A^{\prime })-Q(S_t,A_t))$$

策略（走哪一步）的优化方式：$ϵ-greedy(Q)$

迭代过程：

注：Sarsa会收敛到最优动作状态值函数的条件：

• 策略序列为GLIE
• Robbins-Monro 序列的步进尺寸${\alpha }_t$:

$$\begin{gathered} \sum _{t=1}^{\infty }{\alpha }_t=\infty \\ \sum _{t=1}^{\infty }{\alpha }_t^2=\infty \end{gathered}$$

可以通过设计${\alpha }_t$满足上述性质，依次使得动作状态值函数收敛到最优。

5.3.2 $Sarsa(\lambda )$

n-Step Sarsa:

状态动作值函数的计算：使用下n个状态与下n个状态会采取的动作的状态动作值函数（$G_t$的近似）进行更新（均使用策略$\pi$学习）
$$\begin{gathered} q_t^{(n)}=R_{t+1}+\gamma R_{t+2}+...+{\gamma }^{n-1}{R}_{t+n}+{\gamma }^{n}Q(S_{t+n}) \\ Q(S_t,A_t)<-Q(S_t,A_t)+\alpha (q_t^{(n)}-Q(S_t,A_t)) \end{gathered}$$
策略（走哪一步）的优化方式：$ϵ-greedy(Q)$

1️⃣前向$Sarsa(\lambda )$

使用权重$(1-\lambda ){\lambda }^{n-1}$组合选择$q_t^{(n)}$得到$q^{\lambda }$

状态动作值函数的计算：
$$\begin{gathered} q_t^{\lambda }=(1-\lambda )\sum _{n=1}^{\infty }{\lambda }^{n-1}{q}_t^{(n)} \\ Q(S_t,A_t)<-Q(S_t,A_t)+\alpha (q_t^{(\lambda )}-Q(S_t,A_t)) \end{gathered}$$
$\lambda =1$：收敛速度慢，减小$\lambda$会缩小收敛速度

2️⃣后向$Sarsa(\lambda )$

$eligibilitytrace$
$$\begin{gathered} E_0(s,a)=0 \\ {E}_t(s,a)=\gamma \lambda E_{t-1}(s,a)+1(S_t=s,A_t=a) \end{gathered}$$
$Q(s,a)$在每个状态s和动作a更新
$$\begin{gathered} TD-error:{\delta }_t=R_{t+1}+\gamma Q(S_{t+1},A_{t+1}-Q(S_t,A_t)) \\ Q(s,a)\leftarrow Q(s,a)+\alpha {\delta }_t{E}_t(s,a) \end{gathered}$$

5.4 Off-Policy学习

通过行为策略behavior policy $\mu (a|s)$优化target policy $\pi (a|s)$

可通过一个策略学到多个策略

5.4.1 Importance Sampling

前述：如何估计不同的分布的期望
$$\begin{gathered} E_{X-P}[f(x)]=\sum P(X)f(x) \\ \sum Q(X)\frac{P(X)}{Q(X)}f(X) \\ =E_{X-Q}[\frac{P(X)}{Q(X)}f(X)] \end{gathered}$$
1️⃣Importance Sampling for Off-Policy Monte-Carlo

使用$\mu$的回报估计$\pi$

基于策略间的相似性求取权重回报$G_t$,需要多次采样
$$\begin{gathered} G_t^{\pi /\mu }=\frac{\pi (A_t|S_t)\pi (A_{t+1}|S_{t+1})...\pi (A_T|S_T)}{\mu (A_t|S_t)\mu (A_{t+1}|S_{t+1})...\mu (A_T|S_T)}{G}_t \\ \pi 与\mu 越接近，G_t^{\pi /\mu }越接近G_t \end{gathered}$$
值函数的更新：
$$V(S_t)\leftarrow V(S_t)+\alpha (G_t^{\pi /\mu }-V(S_t))$$
Importance Sampling mc 具有较大方差。

2️⃣Importance Sampling for Off-Policy TD

使用$\mu$的TD targets估计$\pi$

只需要一次采样

值函数的更新：
$$V(S_t)\leftarrow V(S_t)+\alpha (\frac{\pi (A_t|S_t)}{\mu (A_t|S_t)}(R_{t+1}+\gamma V(S_{t+1})-V(S_t))$$
TD Importance Sampling的方差比MC 小。

5.4.2 Q-learning

状态动作值函数的计算：

依据行为策略$\mu$选择下一动作，考虑target 策略$\pi$的下一个备选动作的值函数
$$Q(S_t,A_t)<-Q(S_t,A_t)+\alpha (R_{t+1}+\gamma Q(S_{t+1},A^{\prime })-Q(S_t,A_t))$$

策略（走哪一步）的优化方式：$greedy(Q)$

学习收敛过程：

• target策略$\pi$采用$Greedy$策略改进：

$$\pi (S_{t+1})=argma{x}_{a^{\prime }}Q(S_{t+1},a^{\prime })$$

• 行为策略$\mu$采用$ϵ-Greedy$策略改进

$$Q(S,A)<-Q(S,A)+\alpha (R+\gamma ma{x}_{a^{\prime }}Q(S^{\prime },A^{\prime })-Q(S,A))$$
在所有的可能的A’中，选择Q(S’,A’)最大的进行运算。

注:Q-learning的值函数收敛于最优状态动作值函数。

例：Cliff Walking Example

​ 在4*12的棋盘格中，个体从S出发，目标为G，动作为上下左右，到达空白格的奖励R=-1,到达“The Cliff”带的奖励R=-100，其中到达“The Cliff"带的个体会返回起点S。问：safe path 和 optimal path 的路径分别是什么方法学习的？

答：safe path 是sarsa学习的，optimal path 是Q-learning算法学习的。

因为Q-learning是采用绝对Greedy算法改进Target policy的，倾向于最优选择，而Sarsa是采用$ϵ-Greedy$策略，有一定几率采取其他动作。

还因为Q-learning是选择Q值最优的动作执行，而Sarsa是只有一个动作的，没有退回的余地。

5.5对比分析

什么函数 什么更新方法

进行了什么近似处理

最后会不会收敛到最优