《强化学习Sutton》读书笔记（三）——动态规划（Dynamic Programming）

此为《强化学习》第四章。

策略评估

策略评估 (Policy Evaluation) 首先考虑已知策略$\pi(a|s)$，求解$v_\pi(s)$。根据上一节中状态值函数的Bellman等式，有

$$\begin{align*} v_\pi(s) = \sum_{a} \pi(a|s) \sum_{s'} \sum_{r} p(s',r|s,a) \left[ r + \gamma v_\pi(s') \right] \end{align*}$$

如果我们已知整个环境，那么对每个状态$s$都可以列出一条这样的方程，联立，即可解出$v_\pi(s)$。

此外，我们也可以使用迭代法求解。首先，随机在每个状态上给定一个值函数$v_0(s)$，然后按照如下的迭代进行：

vk+1(s)=∑