【强化学习入门笔记】 2.2 策略迭代和截断策略迭代

本系列为学习赵世钰老师的《强化学习的数学原理》所作的学习笔记.

本节我们将介绍强化学习中的策略迭代求解方法.

2.2.1 算法步骤

跟值迭代类似, 策略迭代也是一个迭代的方法, 主要分为策略计算(PE)和策略提升(PI)两步.

2.2.1.1 策略计算(PE)

首先在当前策略${\pi }_k$的基础上, 计算状态值$v_{{\pi }_k}$, 实际就是求解贝尔曼公式:

$$v_{{\pi }_k}=r_{{\pi }_k}+\gamma P_{{\pi }_k}{v}_{{\pi }_k},$$

在1.4.4 贝尔曼公式求解中, 我们介绍了有两种求解方式:解析解和迭代求解. 但是解析解需要求逆矩阵, 所以常采用迭代求解的方式:

$$v_{{\pi }_k}^{(j+1)}=r_{{\pi }_k}+\gamma P_{{\pi }_k}{v}_{{\pi }_k}^{(j)},j=0,1,2,\dots$$

它的展开形式为:

$$\begin{gathered} v_{{\pi }_k}^{(j+1)}(s)=\sum _a{\pi }_k(a\mid s)\left(\sum _{r}p(r\mid s,a)r+\gamma \sum _{s^{\prime }}p\left(s^{\prime }\mid s,a\right)v_{{\pi }_k}^{(j)}\left(s^{\prime }\right)\right), \\ s\in \mathcal{S} \end{gathered}$$

其中$v_{{\pi }_k}^{(j)}$是上一轮迭代的状态值, 初值可以设置为任意值. 直到$\Vert v_{\pi k}^{(j+1)}-v_{\pi k}^{(j)}\Vert <epsilon$, 则认为已经收敛.

2.2.1.2 策略提升(PI)

有了状态值$v_{{\pi }_k}$之后, 我们求解最优化问题, 得到新的最优策略${\pi }_{k+1}$:

$${\pi }_{k+1}=\arg \underset{\pi }{\max }\left(r_{\pi }+\gamma P_{\pi }{v}_{{\pi }_k}\right).$$

${\pi }_{k+1}$一定优于${\pi }_k$, 详细证明可以前往书中查看. 展开形式写作:

$${\pi }_{k+1}(s)=\arg \underset{\pi }{\max }\sum _a\pi (a\mid s)\underset{q_{{\pi }_k}(s,a)}{}$$