强化学习过程笔记（二） MDP 马尔可夫决策过程、贝尔曼等式详解

最新推荐文章于 2021-10-24 20:56:58 发布

Joey Jo

最新推荐文章于 2021-10-24 20:56:58 发布

阅读量804

点赞数 1

文章标签：人工智能强化学习机器学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/qq_37576300/article/details/120717750

版权

Markov Process & Markov chain 马尔可夫过程及马尔科夫链

如果一个状态是符合马尔可夫的，那就是说一个状态的下一状态只取决于它当前的状态，而跟它之前的状态都没有关系。

Markov Reward Process

马尔可夫过程加上一个奖励函数便构成了马尔可夫奖励过程

这里我们进一步阐述和温习一些概念及定义。

Horizon指一个回合的长度（每个回合的最大时间步数），它由有限个步数决定的

Return指把奖励折扣后所获得的收益，可以定义为奖励的逐步叠加：

$G_t = R_{t+1}+\gamma R_{t+2}+ \gamma ^2 R_{t+3}+ ... +\gamma ^{T-t-1}R_{T}$

正如我们上一篇博客所讲的一样。 $\gamma$ 是折扣因子，一般 $0\leq \gamma \leq 1$ ，我们可以观察到越靠后时间所取得的奖励前面的折扣就越多， $\gamma$ 的作用在于我们尽可能在短的时间里面去的尽可能多的奖励，时间越向后所获得的奖励就要乘上越多的小于一的 $\gamma$ ，使得奖励变少。同时， $\gamma$ 的存在也可以避免闭环的产生；

当有了 $G_t$ 的定义后我们回过来看状态价值函数（state value function）

$V_\pi(s) = \mathbb{E}_{\pi}[G_t|S_t = s] = \mathbb{E}_{\pi} [ R_{t+1}+\gamma R_{t+2}+ \gamma ^2 R_{t+3}+ ... +\gamma ^{T-t-1}R_{T} | S_t = s ]$

一个状态对未来取得奖励的期望决定了它的价值，期望就是说从这个状态开始，你有可能取得多大的价值，这个值越大代表当前状态越有价值

Bellman equation的定义

我们可以从价值函数里面推导出Bellman Equation (贝尔曼等式)，如下

最低0.47元/天解锁文章

关注

1
点赞
踩
8

收藏

觉得还不错? 一键收藏
0
评论
强化学习过程笔记（二） MDP 马尔可夫决策过程、贝尔曼等式详解

Markov Process & Markov chain 马尔可夫过程及马尔科夫链如果一个状态是符合马尔可夫的，那就是说一个状态的下一状态只取决于它当前的状态，而跟它之前的状态都没有关系。Markov Reward Process马尔可夫过程加上一个奖励函数便构成了马尔可夫奖励过程这里我们进一步阐述和温习一些概念及定义。Horizon指一个回合的长度（每个回合的最大时间步数），它由有限个步数决定的Return指把奖励折扣后所获得的收益，可以定义为奖励的逐步叠加：
复制链接

扫一扫

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。