RL(3):动态规划

1. 策略迭代

有两个子步骤：policy evaluation策略评估和policy improvement策略改进。策略评估的目的是对于给定的策略$\pi$，确定状态值函数$v_{\pi }(s)$；策略改进的目的是找出新策略${\pi }^{\prime }(s)$使得${\pi }^{\prime }\ge \pi$

策略迭代的步骤：
1.随机选择初始策略${\pi }_0$，令${\pi }_k={\pi }_0$；
2.对${\pi }_k$实行策略评估，获得状态值$v_{{\pi }_k}$；
3. 基于$v_{{\pi }_k}$，对${\pi }_k$实行策略改进，产生新策略${\pi }_{k+1}$，使${\pi }_{k+1}\underset{一}{>}{\pi }_k$。
4.如果${\pi }_{k+1}={\pi }_k$，就停止。现在的最佳策略就是${\pi }_{\ast }={\pi }_k$。否则就返回步骤2。

1.1 策略评估

主要想法是把对$v_{\pi }$的贝尔曼方程变成一个在迭代过程中不断更新的策略，最终对给定$\pi$得出$v_{\pi }(s)$的值。
$$v_{k+1}(s)=\sum _a\pi (a|s)\sum _{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma v_k(s^{\prime })]$$

策略评估会随着迭代次数k的增加而收敛，这个结论证明的关键步骤：
1.用Bellman policy operator算子（${\mathbb{T}}_{\pi }$）表示贝尔曼方程：
$${\mathbb{T}}_{\pi }{v}_k=\sum _a\pi (a|s)\sum _{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma v_k]$$

2.${\mathbb{T}}_{\pi }$是一个收缩映射：
$$||{\mathbb{T}}_{\pi }{v}_k-{\mathbb{T}}_{\pi }{v}_{k+1}|{|}_{\infty }\underset{一}{<}\gamma ||v_k-v_{k+1}|{|}_{\infty }$$
3.由Contraction Mapping Theorem压缩映射原理可知，${\mathbb{T}}_{\pi }$ 有唯一的不动点$v_{\pi }$，也就是说，策略评估算法收敛于$v_{\pi }$。

${\delta }_k$表示在迭代$k$结束时$v_k(s)$与$v_{\pi }(s)$之差的最大值：

$${\delta }_k\stackrel{\Delta }{=}\underset{s}{\max }|v_{\pi }(s)-v_k(s)|$$
去掉$\mathrm{m}\mathrm{a}\mathrm{x}$范围：
$$|v_{\pi }(s)-v_k(s)|\underset{一}{<}{\delta }_k$$

由此可得：
$$\begin{gathered} -{\delta }_k\le v_{\pi }(s)-v_k(s)\le {\delta }_k \\ \Rightarrow -v_{\pi }(s)-{\delta }_k\le -v_k(s)\le -v_{\pi }(s)+{\delta }_k \\ \Rightarrow v_{\pi }(s)+{\delta }_k\ge v_k(s)\ge v_{\pi }(s)-{\delta }_k \\ \Rightarrow v_{\pi }(s)-{\delta }_k\le v_k(s)\le v_{\pi }(s)+{\delta }_k \end{gathered}$$
由于上式适用于迭代$k$次的任何状态，因此对于状态$s^{\prime }$，我们有
$$v_k(s^{\prime })\ge v_{\pi }(s^{\prime })-{\delta }_k$$

现在考虑迭代$k+1$，更新的规则可以写为
$$\begin{array}{rl}{v}_{k+1}(s)& =\sum _a\pi (a|s)\sum _{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma v_k(s^{\prime })]\\ & \ge \sum _a\pi (a|s)\sum _{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma (v_{\pi }(s^{\prime })-{\delta }_k)]\\ & =v_{\pi }(s)-\gamma {\delta }_k\end{array}$$
即
$$\begin{gathered} v_{\pi }(s)-\gamma {\delta }_k\le v_{k+1}(s) \\ {\delta }_{k+1}\stackrel{\Delta }{=}\underset{s}{\max }|v_{\pi }(s)-v_{k+1}(s)|\le \underset{s}{\max }|\gamma {\delta }_k|=\gamma {\delta }_k \end{gathered}$$
如果设置$0\le \gamma <1$，即${\delta }_k\to 0$，也就是在$k\to \infty$的时候，$v_k(s)\to v_{\pi }(s)$。

1.2 策略改进

分两步。

第一步，选择的新策略${\pi }^{\prime }$要符合条件：
$q_{\pi }(s,{\pi }^{\prime }(s))\ge v_{\pi }(s)$
详细展开：
$$\begin{array}{rl}{v}_{\pi }(s)& \le q_{\pi }(s,{\pi }^{\prime }(s))\\ & =\mathbb{E}[R_{t+1}+\gamma v_{\pi }(S_{t+1})|S_t=s,A_t={\pi }^{\prime }(s)]\\ & ={\mathbb{E}}_{{\pi }^{\prime }}[R_{t+1}+\gamma v_{\pi }(S_{t+1})|S_t=s]\\ & \le {\mathbb{E}}_{{\pi }^{\prime }}[R_{t+1}+\gamma q_{\pi }(S_{t+1},{\pi }^{\prime }(S_t+1))|S_t=s]\\ & ={\mathbb{E}}_{{\pi }^{\prime }}[R_{t+1}+\gamma {\mathbb{E}}_{{\pi }^{\prime }}[R_{t+2}+\gamma v_{\pi }(S_{t+2})|S_{t+1},A_{t+1}={\pi }^{\prime }(S_{t+1})]|S_t=s]\\ & ={\mathbb{E}}_{{\pi }^{\prime }}[R_{t+1}+\gamma R_{t+2}+{\gamma }^2{v}_{\pi }(S_{t+2})|S_t=s]\\ & \le {\mathbb{E}}_{{\pi }^{\prime }}[R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+{\gamma }^3{v}_{\pi }(S_t+3)|S_t=s]\\ & ...\\ & \le {\mathbb{E}}_{{\pi }^{\prime }}[R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+{\gamma }^3{R}_{t+4}+...|S_t=s]\\ & =v_{{\pi }^{\prime }}(s)\end{array}$$

第二步，怎么选择符合条件的${\pi }^{\prime }$?
一种方法是
$$\begin{array}{rl}{\pi }^{\prime }(s)& \stackrel{\Delta }{=}\underset{a}{\mathrm{argmax}}{q}_{\pi }(s,a)\\ & =\underset{a}{\mathrm{argmax}}\mathbb{E}[R_{t+1}+\gamma v_{\pi }(S_{t+1})|S_t=s,A_t=a]\\ & =\underset{a}{\mathrm{argmax}}\sum _{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma ,v_{\pi }(s^{\prime })]\end{array}$$

1.3 策略迭代收敛

因为在每个状态下做出的都是贪心算法的行为，所以有
$$\begin{array}{rl}{v}_{{\pi }^{\prime }}& =\underset{a}{\max }\mathbb{E}[R_{t+1}+\gamma v_{{\pi }^{\prime }}(S_{t+1})|S_t=s,A_t=a]\\ & =\underset{a}{\max }\sum _{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma v_{{\pi }^{\prime }}(s^{\prime })]\end{array}$$
与有$v_{\ast }=v_{{\pi }^{\prime }}$的Bellman最优性方程相同，所以${\pi }^{\prime }={\pi }_{\ast }$
因此，策略迭代可以保证产生最优策略。

2. 值迭代

2.1 更新规则

状态值$v(s)$的值迭代：
$$\begin{array}{rl}{v}_{k+1}(s)& =\underset{a}{\max }\mathbb{E}[R_{t+1}+\gamma v_k(S_{t+1})|S_t=s,A_t=a]\\ & =\underset{a}{\max }\sum _{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma v_k(s^{\prime })],对于所有的s\in S\end{array}$$
行为值$q(s,a)$的值迭代：
$$q_{k+1}(s,a)=\sum _{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma \underset{a}{\max }{q}_k(s^{\prime },a^{\prime })]$$
一旦找到最优值$v_{\ast }(s)$或$q_{\ast }(s,a)$，就可以根据这些值提取最优策略:
$${\pi }_{\ast }(s)=\{\begin{array}{ll}& \underset{a}{\mathrm{argmax}}{\sum }_{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma v_{\ast }(s^{\prime })]\\ & \underset{a}{\mathrm{argmax}}{q}_{\ast }(s,a)\end{array}$$
如果策略和奖励函数是确定的，更新规则就可以用转换概率$P_{s{s}^{\prime }}^a$和奖励函数$\rho (s,a,s^{\prime })$表示，而不需要$p$函数：
$$Q(s,a)\leftarrow \sum _{s^{\prime }}{P}_{s{s}^{\prime }}^a(\rho (s,a,s^{\prime })+\gamma \underset{a^{\prime }}{\max }Q(s^{\prime },a^{\prime }))$$

2.2 例证

2.3 值迭代的收敛

第一步：

假设在迭代$k$次时,动作值$q_k(s,a)$对于一些状态和动作不是最优,即$q_k(s,a)\ne q_{\ast }(s,a)$。我们可以将$q_k(s,a)$与$q_{\ast }(s,a)$的最大差为
$${\delta }_k\stackrel{\Delta }{=}\underset{s,a}{\max }|q_{\ast }(s,a)-q_k(s,a)|$$
去掉$\mathrm{m}\mathrm{a}\mathrm{x}$范围：
$$|q_{\ast }(s,a)-q_k(s,a)|\le {\delta }_k$$

由此可得：
$$\begin{gathered} -{\delta }_k\le q_{\ast }(s,a)-q_k(s,a)\le {\delta }_k \\ \Rightarrow -q_{\ast }(s,a)-{\delta }_k\le -q_k(s,a)\le -q_{\ast }(s,a)+{\delta }_k \\ \Rightarrow q_{\ast }(s,a)+{\delta }_k\ge q_k(s,a)\ge q_{\ast }(s,a)-{\delta }_k \\ \Rightarrow q_{\ast }(s,a)-{\delta }_k\le q_k(s,a)\le q_{\ast }(s,a)+{\delta }_k \end{gathered}$$
现在考虑迭代$k+1$，更新的规则可以写为
$$\begin{gathered} q_{k+1}(s,a)=\sum _{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma \underset{a}{\max }{q}_k(s^{\prime },a^{\prime })] \\ {q}_{k+1}(s,a)\le q_{\ast }(s,a)+\gamma {\delta }_k \end{gathered}$$
由于$q_{\ast }(s,a)$是有限的，上述方程表明如果${\delta }_k$是有界的，$q_{k+1}(s,a)$是有界的。由于最初$q_0(s,a)$被设置为零，并且在每次迭代中，${\delta }_k$是$q_k(s,a)$和$q_{\ast }(s,a)$之间的最大绝对差，我们可以得出$q_{k+1}$也是有界的。

第二步：

$q_k(s,a)$随着$k$的增加而单调地接近$q_{\ast }(s,a)$:

$$q_k(s^{\prime },a^{\prime })\ge q_{\ast }(s^{\prime },a^{\prime })-{\delta }_k$$
$$\begin{array}{rl}{q}_{k+1}(s,a)& =\sum _{s^{\prime },r}p(s^{\prime },r|s,a)(r+\gamma \underset{a^{\prime }}{\max }{q}_k(s^{\prime },a^{\prime }))\\ & \ge \sum _{s^{\prime },r}p(s^{\prime },r|s,a)(r+\gamma \underset{a^{\prime }}{\max }(q_{\ast }(s^{\prime },a^{\prime })-{\delta }_k))\\ & =\sum _{s^{\prime },r}p(s^{\prime },r|s,a)(r+\gamma \underset{a^{\prime }}{\max }{q}_{\ast }(s^{\prime },a^{\prime }))-\gamma {\delta }_k\\ & =q_{\ast }(s,a)-\gamma {\delta }_k\end{array}$$
$$\begin{gathered} q_{\ast }(s,a)-\gamma {\delta }_k\le q_{k+1}(s,a) \\ or{q}_{\ast }(s,a)-q_{k+1}(s,a)\le \gamma {\delta }_k \end{gathered}$$
$$\begin{gathered} {\delta }_{k+1}\stackrel{\Delta }{=}\underset{s,a}{\max }|q_{\ast }(s,a)-q_{k+1}(s,a)|\le \underset{s,a}{\max }|\gamma {\delta }_k|=\gamma {\delta }_k \\ {\delta }_{k+1}\le \gamma {\delta }_k \end{gathered}$$
如果设置$0\le \gamma <1$，即${\delta }_k\to 0$，也就是在$k\to \infty$的时候，$q_k(s,a)\to q_{\ast }(s,a)$。

3. 广义策略迭代

上述讨论需要知道p函数，动态规划方法需要一个由函数$p=(s^{\prime },r|s,a)$表示的完整的环境模型。当该$p$函数不可用时，策略迭代和值迭代方法就不能用于求解强化学习问题。在这种情况下，我们转向一类所谓的无模型方法(仍然在广义策略迭代的方案下运行)，使我们能够在没有模型的情况下找到最优策略。