强化学习笔记-04 动态规划Dynamic Programming

最新推荐文章于 2023-07-15 10:04:44 发布

tostq

最新推荐文章于 2023-07-15 10:04:44 发布

阅读量497

点赞数

文章标签：动态规划算法强化学习深度学习

本文链接：https://blog.csdn.net/tostq/article/details/129587247

版权

本文是博主对《Reinforcement Learning- An introduction》的阅读笔记，不涉及内容的翻译，主要为个人的理解和思考。

前文介绍的有限马尔可夫决策过程是强化学习建模的基础形式，并介绍了通过Bellman equation的迭代计算可以解决该问题，本文将通过动态规划方法dynamic programming (DP) 来实现这一过程的计算。

当环境建模为有限MDP时，环境中的状态state，动作action和奖励reward的合集是有限的。同时状态间的转换概率p(s’,r|s,a)也是确定的。另外要求状态合集不能太多，因此DP算法本质上会遍历所有的状态，状态数增加会极大增加计算耗时。

1. Generalized Policy Iteration

前文介绍了两阶段迭代计算（Generalized Policy Iteration (GPI)）来完成Bellman equation中的决策函数 $\pi(a|s)$ 和价值函数 $v(s)$ 。这个两阶段的迭代过程分别称之为决策评估Policy Evaluation 和决策优化Policy Improvement。

决策评估Policy Evaluation 是指在特定的决策函数下，去估计各个状态的价值函数，如下的k表示迭代轮数（式1）：

$\\v_{k+1}(s) \\ = \sum_a{\pi(a|s)}E[G_t | s, a] \\ =\sum_a{\pi(a|s)}E[R_t +\gamma G_{t+1} | s, a] \\ =\sum_a{\pi(a|s)}\sum_{s',r}P(s',r|s,a)(r +\gamma v_{k}(s'))$

而决策优化Policy Improvement是指在固定价值函数情况下，确定最优决策函数（式2）

$\\ \pi^{*}(a|s)\\ =\underset{a}{argmax}\ q_{\pi}(a, s)\\ =\underset{a}{argmax} \sum_{s',r} P(s',r|s,a)(r + \gamma v(s'))$

这两阶段的迭代过程会随着训练的加强，最终决策函数和价值函数都会收敛。另外如果我们考虑前文所提到强化学习算法的on-policy和off-policy两种策略，在on-policy中，价值函数可以改写为如下式子（式3），此时价值函数更新时不需要用到决策函数，称这为Value Iteration。

最低0.47元/天解锁文章