基于动态规划的强化学习

基于动态规划的强化学习

一、MDP目标和策略

相关概念

目标：选择能够最大化累积奖励期望的动作

$$\mathbb{E}[R(s_0)+\gamma R(s_1)+{\gamma }^{2}R(s_2)+\cdots ]$$

$\gamma \in [0,1]$是未来奖励的折扣因子，使得和未来奖励相比起来智能体更重视即时奖励

以金融为例，今天的$1比明天的$1更有价值

给定一个特定的策略

$$\pi (s):S\to A$$

即，在状态$s$下采取动作$a=\pi (s)$

给定策略$\pi$定义价值函数

$$V^{\pi }(s)=\mathbb{E}[R(s_0)+\gamma R(s_1)+{\gamma }^{2}R(s_2)+\cdots |s_0=s,\pi ]$$

即，给定起始状态和根据策略 $\pi$ 采取动作时的累积奖励期望

价值函数的Bellman等式

给策略 $\pi$ 定义价值函数

最优价值函数

对状态 $s$ 来说的最优价值函数是所有策略可获得的最大可能折扣奖励的和

$$V^{\ast }(s)=\underset{\pi }{\max }{V}^{\pi }(s)$$

最优价值函数的Bellman等式

$$V^{\ast }(s)=R(s)+\underset{a\in A}{\max }\gamma \sum _{s^{\prime }\in S}{P}_{sa}(s^{\prime })V^{\ast }(s^{\prime })$$

最优策略
$${\pi }^{\ast }(s)=\arg \underset{a\in A}{\max }\sum _{s^{\prime }\in S}{P}_{sa}(s^{\prime })V^{\ast }(s^{\prime })$$

对状态 $s$ 和策略 $\pi$

$$V^{\ast }(s)=V^{{\pi }^{\ast }}(s)\ge V^{\pi }(s)$$

二、价值迭代和策略迭代

价值函数和策略相关

$$V^{\pi }(s)=R(s)+\gamma \sum _{s^{\prime }\in S}{P}_{s\pi (s)}{V}^{\pi }(s^{\prime })$$

$$\pi (s)=\arg \underset{a\in A}{\max }\sum _{s^{\prime }\in S}{P}_{sa}(s^{\prime })V^{\pi }(s^{\prime })$$

可以对最优价值函数和最优策略执行迭代更新

• 价值迭代
• 策略迭代

三、价值迭代

对于一个动作空间和状态空间有限的MDP

$$|S|<\infty ,|A|<\infty$$

价值迭代过程

1. 对每个状态 $s$ ，初始化 $V(s)=0$
2. 重复以下过程直到收敛
   对每个状态，更新
   $$V(s)=R(s)+\underset{a\in A}{\max }\gamma \sum _{s^{\prime }\in S}{P}_{sa}(s^{\prime })V(s^{\prime })$

注意：在以上的计算中没有明确的策略，只局限于数值计算

同步/异步价值迭代

同步价值迭代： 同步的价值迭代会储存两份价值函数的拷贝

1. 对 $S$ 中的所有状态 $s$
   $V_{new}(s)\leftarrow \underset{a\in A}{\max }\left(R(s)+\gamma \sum _{s^{\prime }\in S}{P}_{sa}(s^{\prime })V_{old}(s^{\prime })\right)$

2. 更新
   $V_{old}(s)\leftarrow V_{new}(s)$

需要两倍的空间进行存储

异步价值迭代： 异步价值迭代只储存一份价值函数

1. 对 $S$ 中的所有状态 $s$
   $V(s)\leftarrow \underset{a\in A}{\max }\left(R(s)+\gamma \sum _{s^{\prime }\in S}{P}_{sa}(s^{\prime })V(s^{\prime })\right)$

在中间过程中，可能会有些值提前被更新，导致更新不一致
只需要存储一份价值函数，存在更新紊乱

价值迭代例子：最短路径

四、策略迭代

对于一个动作空间和状态空间有限的MDP

$$|S|<\infty ,|A|<\infty$$

策略迭代过程

1. 随机初始化策略 $\pi$
2. 重复以下过程直到收敛
   1. 让 $V:=V^{\pi }$
   2. 对每个状态，更新
      $\pi (s)=\arg \underset{s^{\prime }\in S}{\max }{P}_{sa}(s^{\prime })V(s^{\prime })$

更新价值函数会很耗时,即计算 $V^{\pi }$这个步骤需要很大的计算量

策略评估

• 估计 $V^{\pi }$
• 迭代的评估策略

策略改进

• 生成 ${\pi }^{\prime }\ge \pi$
• 贪心策略改进

举例：策略评估

• 非折扣MDP（$\gamma =1$）
• 非终止状态：$1,\dots ,14$
• 两个终止状态（灰色方格）
• 如果动作指向所有方格以外，则这一步不动
• 奖励均为-1，直到到达终止状态
• 智能体的策略为均匀随机策略

$$\pi (n|\cdot )=\pi (e|\cdot )=\pi (s|\cdot )=\pi (w|\cdot )=0.25$$

五、比较价值迭代和策略迭代

1. 价值迭代是贪心更新法，局部性上进行更新，没有真正意义上去计算 V（、pi）
2. 策略迭代中，用Bellman等式更新价值函数代价很大
3. 对于空间较小的MDP，策略迭代通常很快收敛
4. 对于空间较大的MDP，价值迭代更实用（效率更高）
5. 如果没有状态转移循环，最好使用价值迭代

六、常见问题

价值迭代的同步更新和异步更新在收敛速度和效果上会有区别吗？

• 异步更新的收敛一般收敛快一些。但是如果没有达到收敛，异步更新得到的部分状态的价值可能和ground truth差距较大，不敢直接用来构建policy。原因是异步更新可能使得部分状态更新的不如别的状态快。

为什么空间较小的MDP，策略迭代收敛很快；而空间较大，价值迭代更实用？

• 策略迭代是对于策略的直接优化，所以在空间较小的MDP上可以收敛很快，但是策略本身是基于当前状态动作的分布；
• 价值迭代是对于通过对状态评估间接得出最优的策略，价值迭代本身是基于状态的分布，所以更加稳定高效。