11. 动态规划之策略迭代

1. 什么是策略迭代

从1个初始策略$\pi (a|s)$出发，先利用贝尔曼期望方程($V^{\prime }\to V$)迭代更新状态值函数$V_{\pi }(s)$，进而根据贝尔曼期望方程($V\to Q$)求$Q_{\pi }(s,a)$，最后使用贪心算法，根据$Q_{\pi }(s,a)$更新$\pi (a|s)$，如此反复进行，直到策略收敛到满足设定条件为止。
$${\pi }_1\underrightarrow{E}{V}_{{\pi }_1},Q_{{\pi }_1}\underrightarrow{I}{\pi }_2\underrightarrow{E}{V}_{{\pi }_2},Q_{{\pi }_2}\underrightarrow{I}\cdots ,Q^{\ast }\underrightarrow{I}{\pi }^{\ast }$$

2 策略迭代算法流程

2.1 变量说明

输入变量
$S=[s_1,s_2,\cdots ,s_m]$：状态空间，共有m种状态
$A=[a_1,a_2,\cdots ,s_n]$：动作空间，共有n种动作
$P$：三维数组，维度为$(n,m,m)$，$P[i,j,k]$表示执行动作$a_i(1\le i\le n)$时，环境由状态$s_j(1\le j\le m)$转移到状态$s_k(1\le k\le m)$的概率
$R$：m×n矩阵，$R[i,j](1\le i\le m,1\le j\le n)$表示在状态$s_i$时执行动作$a_j$时获得的立即回报（期望）。
$gama$：折扣因子，
e1:相邻两次迭代的状态值函数之差小于该值，结束值函数迭代
中间变量：
$V-1\times m$向量，用来存储状态值函数，$V[k](1\le k\le m)$表示状态$s_k$的值函数值
输出变量
$Pi-策略矩阵，m\times n，Pi[i,j]表示状态为s_i时采取动作a_j的概率$

2.2 算法流程

图中，computeV子函数用于更新状态$s_k$的值函数的值，其计算参照如下公式：
$$V_{k+1}(s)=\sum _{a\in A}\pi (a|s)\left(R_s^a+\gamma \sum _{s^{\prime }\in S}{P}_{s{s}^{\prime }}^a{V}_k(s^{\prime })\right)$$
注意：在实际编程时，应将$V_{k+1}(s)$先用一个变量$v_{new}$存储下来，并计算它与原来s状态下的状态值函数$V_k(s)$的差的绝对值$\beta$，然后再将向量V中的索引号为s的元素更新为$v_{new}$.
此外，每一个状态都有一个$\beta$值，所有状态的$\beta$值存到一个向量中B中，当所有状态都迭代了一次后，就检查B中所有元素是否都小于某个设定好的阈值threshold，若小于，就跳出值函数的迭代循环。使用numpy数组完成这种运算非常简单，代码类似如下：

if (B<threshold).all():
   break

computeA子函数用于计算最优动作a^*_k，返回动作对应的序号k
其计算公式如下：
$$a^{\ast }=\arg \underset{a\in A}{\max }[R_s^a+\gamma \sum _{s^{\prime }\in S}{P}_{s{s}^{\prime }}^{a}V(s^{\prime })]$$
编程注意事项 很可能一个状态下对应1个以上的最优动作，即：使得上式成立的a有1个以上，假设有k个，则策略矩阵中相应状态下，对应的动作的概率都为1/k,其余为0，若只有1个最优动作，则其对应的概率为1，其余为0