模型无关控制方法

模型无关控制方法

模型无关的控制应用场景

一些能够被建模成马尔可夫决策过程的问题示例
电梯，平行泊车，船舶操纵，生物反应器，直升机，飞机物流，机器人行走，围棋对弈

对于大部分真实世界中的问题：

• MDP模型为未知，但能够从经验中采样
• MDP模型为已知，但规模太大难以直接使用，只能通过采样

模型无关的控制能够解决上述问题

在线策略和离线策略学习

两类模型无关的强化学习

1. 在线策略学习（on-policy）

   • Learning on the job
   • 利用策略 $\pi$ 的经验采样不断学习改进策略 $\pi$

2. 离线策略学习（off-policy）

   • Look over someone’s shoulder
   • 利用另一个策略 $\mu$ 的经验采样不断学习改进策略 $\pi$

状态值和状态-动作值

$$G_t=R_{t+1}+\gamma R_{t+2}+\cdots +{\gamma }^{T-1}{R}_T$$

状态值
马尔可夫决策过程的 状态值函数 $V^{\pi }(S)$ 是指从状态 $s$ 开始，执行策略 $\pi$ 的期望累计奖励

$$V^{\pi }(s)={\mathbb{E}}_{\pi }[G_t|S_t=s]$$

状态-动作值
马尔可夫决策过程的 状态-动作值函数 $Q^{\pi }(s,a)$ 是指从状态 $s$ 开始，执行动作 $a$ 之后，执行策略 $\pi$ 的期望累计奖励

$$Q^{\pi }(s,a)={\mathbb{E}}_{\pi }[G_t|S_t=s,A_t=a]$$

贝尔曼期望方程

状态值函数 $V^{\pi }(s)$ 可被分解为即时奖励加上后续状态的折扣值

$$V^{\pi }(s)={\mathbb{E}}_{\pi }[R_{t+1}+\gamma V^{\pi }(S_{t+1})|S_t=s]$$

状态-动作值函数 $Q^{\pi }(s,a)$ 也能被类似的分解

$$Q^{\pi }(s,a)={\mathbb{E}}_{\pi }[R_{t+1}+\gamma Q^{\pi }(S_{t+1},A_{t+1})|S_t=s,A_t=a]$$

$$V^{\pi }(s)=\sum _{a\in A}\pi (a|s)Q^{\pi }(s,a)$$

$$Q^{\pi }(s,a)=R(s,a)+\gamma \sum _{s^{\prime }\in S}{P}_{sa}(s^{\prime })V^{\pi }(s^{\prime })$$

模型无关的策略迭代

给定状态值函数 $V(s)$ 和状态-动作值函数 $Q(s,a)$ ，模型无关的策略迭代应使用状态-动作值函数

• 基于状态值函数 $V(s)$ 的贪心策略改进需要建立马尔可夫决策过程模型

$${\pi }^{new}(s)=\arg \underset{a\in A}{\max }\left\{R(s,a)+\gamma \sum _{s^{\prime }\in S}{P}_{sa}(s^{\prime })V^{\pi }(s^{\prime })\right\}$$

我们不知道状态转移概率 $P_{sa}(s^{\prime })$ ，所以无法对其直接求解

• 基于状态-动作值函数 $Q(s,a)$ 的贪心策略改进是模型无关的

$${\pi }^{new}(s)=\arg \underset{a\in A}{\max }Q(s,a)$$

使用状态-动作值函数的广义策略迭代

策略评估： 蒙特卡洛策略评估，$Q=Q^{\pi }$
策略改进： 贪心策略改进

贪心动作选择（Greedy Action Selection）示例

基于 $Q(s,a)$ 的贪心策略改进是模型无关的

$${\pi }^{new}(s)=\arg \underset{a\in A}{\max }Q(s,a)$$

如上图的例子
假如第一次选择左边的门且获得的观测奖励 = 0，那么很可能就会陷入局部最优

如果没有探索，策略将是次优的

$\epsilon -greedy$ 策略探索

确保持续探索最简单的想法
所有m个动作都以非零概率进行尝试

• 以 $1-ϵ$ 的概率，选择贪心动作
• 以 $ϵ$ 的概率，随机选择一个动作

$$\pi (a|s)=\{\begin{array}{ll}\frac{ϵ}{m}+1-ϵ& if{a}^{\ast }=\arg \underset{a\in A}{\max }Q(s,a)\\ \frac{ϵ}{m}& otherwise\end{array}$$

$\epsilon -greedy$ 策略改进

定理：
对于任意 $ϵ-greedy$ 策略 $\pi$ ，关于 $Q^{\pi }$ 的 $ϵ-greedy$ 策略 ${\pi }^{\prime }$是 $\pi$ 的一个改进，即 $V^{{\pi }^{\prime }}(s)\ge V^{\pi }(s)$

蒙特卡洛控制
每个片段：

• 策略评估：蒙特卡洛策略评估，$Q\approx Q^{pi}$
• 策略改进：$\epsilon -greedy$ 策略改进

比较蒙特卡洛控制和时序差分控制

时序差分（TD）学习相比蒙特卡洛（MC）有许多优点

• 更低的方差
• 在线策略
• 基于不完整的序列

自然的想法：在控制中，使用时序差分（TD）代替蒙特卡洛（MC）

• 使用时序差分来更新状态-动作值 $Q(s,a)$
• 使用 $\epsilon -greedy$ 策略改进
• 使用时间步长更新状态-动作值函数

---

如何理解强化学习中的控制和预测这两个名词？

预测问题（Prediction）指的是求解在给定策略（policy）下的价值函数（value function）的过程
而控制问题指的是如何获得一个尽量好的策略来最大化累计奖励（accumulated return）
因此，强化学习的过程常常是在解决预测问题的基础上，进而解决控制问题

蒙特卡洛算法和时序差分算法的优势

MC的优势：

1. 不需要建模value function
2. 对价值的采样是无偏的（unbiased）
3. 算法实现比较简单

TD的优势：

1. 不需要整个episode采样，仅需要一个片段就可以学习，也可以在infinite horizon场景下工作
2. 一般效果都比较好，应用比MC广泛
3. variance比较低