【强化学习公式推导】状态价值函数与动作价值函数贝尔曼期望方程，贝尔曼最优方程推导过程

已于 2024-04-08 17:56:06 修改
阅读量383 收藏 1
点赞数 4
分类专栏： # 强化学习 文章标签： 算法 深度学习
于 2024-03-21 15:53:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Ever_____/article/details/136838777
版权
本文详细解释了强化学习中的状态价值函数和动作价值函数，通过贝尔曼期望方程探讨两者的关系，以及在马尔科夫过程和决策过程中的应用，同时讨论了最优策略与贝尔曼最优方程的概念。
摘要由CSDN通过智能技术生成

【强化学习公式推导】状态价值函数与动作价值函数贝尔曼期望方程，贝尔曼最优方程推导过程

1.回报
在这里插入图片描述
2.当前时刻的回报与下一时刻回报的关系
在这里插入图片描述
3.状态价值函数
在这里插入图片描述

4.动作价值函数
在这里插入图片描述
在这里插入图片描述
5.状态价值函数与动作状态价值函数的关系
在这里插入图片描述
在这里插入图片描述
6.贝尔曼期望方程Bellman Equation（也称贝尔曼期望方程）
在这里插入图片描述

7.状态价值函数的贝尔曼期望方程
在这里插入图片描述
8.动作价值函数的贝尔曼期望方程
在这里插入图片描述
9.贝尔曼期望方程的另一种理解方式，结合下图理解
在这里插入图片描述在这里插入图片描述
在这里插入图片描述

10.一点疑惑在这里插入图片描述

上图中的1式和2式右边部分形式相同，那么可得q(s，a)与v(s)相等，这么理解肯定是错误的；1式是在动手学强化学习的3.3.2 价值函数这一节中，1式是马尔科夫奖励过程，未涉及动作，如果考虑动作也就成了马尔科夫决策过程，应该推导成下面这种形式
在这里插入图片描述
11.最优策略、最优状态价值函数、最优动作价值函数
在这里插入图片描述
12.贝尔曼最优方程
在这里插入图片描述

几度热忱
关注
  • 4
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
强化学习&基础1.9 | 动作价值函数
ASKCOS博客
04-15 4319
在价值函数的基础之上，动作价值函数是在状态S下选择动作a然后遵循这个策略的值，下图左边的定义是价值函数，右边是动作价值函数。 在动作价值函数的基础上，原来每个格子的值需要考虑动作的行为(上下左右），这样格子的值被分为4块。 假设我们从图中的左上角开始，黄线遵循的策略。我们采取向下的行动，得到reward-1，然后遵循策略到达终点，那么这个格子采取向下动作的动作价值函数为（-1）-1-1-1-...
DRL基础（三）——价值函数与贝尔曼方程
二向箔
04-25 1455
【引言】上一篇文章利用马尔可夫决策过程这一数学工具对强化学习进行了形式化描述，并给出了强化学习智能体的目标函数。那么如何找到最优策略来最大化目标函数？最优策略存在吗？是唯一的吗？在回答这些问题之前，先引入价值函数和贝尔曼方程这两个工具对强化学习进行更加具体的过程性描述。在此基础上，介绍最优价值函数和最优策略等概念。 目录中英文术语对照表1. 价值函数1.1 状态价值函数1.2 动作价值和函数2. 贝尔曼方程2.1 基于状态价值函数的贝尔曼方程2.2 用vπ(s)v_\pi(s)vπ​(s)表示qπ(s.
强化学习中状态价值函数和动作价值函数的理解
qq_41816368的博客
07-07 6451
一个小例子理解强化学习中价值函数和动作价值函数两个重要概念
【强化学习理论】状态价值函数与动作价值函数系列公式推导
Mocode的博客
04-26 5948
强化学习理论中，状态价值函数、动作价值函数、贝尔曼方程系列公式推导。
强化学习经典算法笔记(零)：贝尔曼方程的推导
hhy_csdn的博客
04-09 2万+
强化学习经典算法笔记——推导贝尔曼方程   在写强化学习经典算法笔记(一)：价值迭代算法Value Iteration和强化学习经典算法笔记(二)：策略迭代算法Policy Iteration的时候，感觉关键的部分——为什么要这样进行值（策略）迭代，没有讲清楚，概念有点模糊，所以感觉有必要重新关注一下Bellman Equation的来龙去脉，也是加强自己对这一块内容的理解。 相关概念   在介绍...
价值函数与贝尔曼方程
HEU_Yutianqi的博客
04-09 2880
价值函数的引入，贝尔曼期望方程的推导
贝尔曼方程推导
m0_49122823的博客
04-10 979
马尔可夫的动态特性： 回报：（两种定义） 或 （折扣率大于等于0小于等于1，折扣率决定了未来收益的现值） 状态价值函数：从状态s开始，智能体按照策略π进行决策所获得回报的概率期望值 动作价值函数： 动作价值函数与状态价值函数的关系： 动作价值函数与马尔可夫的动态特性的关系： 因此贝尔曼方程推导为： 或（原理一样，只不过我当时没看明白书上的推导，所以按照自己的理解根据回溯图手写了一下，其实手写和书上截图的推导是一样一样的） 贝尔曼方程用等式表达了状态价值和后续状态价值之间的关系。 ...
一文读懂AlphaGo背后的强化学习
02-25
第二部分，我们将构建并学习有关价值函数和Bellman(贝尔曼方程)的理论知识，它是强化学习中最重要公式，我们将一步一步地推导、解释，以揭开强化学习的神秘面纱。当然，本文只是尽力用最快、最直观的方式带你来理解...
论文研究 - 考虑健康水平的人寿保险公司最优投资问题
05-22
在本文中，我们研究了在健康级别框架下... 对于均值方差准则，我们建立了相应的Hamilton-Jacobi-Bellmen（HJB）方程，并推导了时间一致的投资策略。 最后，我们提供了数值模拟，以分析健康水平对保险人价值函数的影响。
神经网络：强化学习高频面试题整理
06-06
公式很多，如贝尔曼方程和贝尔曼最优方程这里估计已经被绕晕了，所以会觉得很难，更不要说把目前主流算法都掌握好了，像DDPG、TRPO、PPO等算法的推导过程基本都有一定的难度。 学习资料： 1、英文书：Sutton的...
强化学习-动态规划-DP1
08-03
这可以通过迭代求解贝尔曼期望方程实现，该方程反映了状态价值函数与未来奖励的关系。策略改进则是根据当前策略的价值函数，选取每个状态下的最优行动，形成新的策略π'，使得Vπ'(s) ≥ Vπ(s)。 策略评估的解析解...
1.贝尔曼方程（Bellman equation）
热门推荐
qq_39160779的博客
07-11 3万+
目录 深度强化学习目录 简介 贝尔曼方程，又叫动态规划方程，是以Richard Bellman命名的，表示动态规划问题中相邻状态关系的方程。某些决策问题可以按照时间或空间分成多个阶段，每个阶段做出决策从而使整个过程取得效果最优的多阶段决策问题，可以用动态规划方法求解。某一阶段最优决策的问题，通过贝尔曼方程转化为下一阶段最优决策的子问题，从而初始状态的最优决策可以由终状态的最优决策(一般易解)问题逐步迭代求解。存在某种形式的贝尔曼方程，是动态规划方法能得到最优解的必要条件。绝大多数可以用最优控制理论解决的问
强化学习的状态值函数与状态动作值函数
Kevin_Heidashuai的博客
08-23 2万+
在本文中，我们将学习贝尔曼方程和价值函数。 回报和返还（return） 正如前面所讨论的，强化学习agent如何最大化累积未来的回报。用于描述累积未来回报的词是返还，通常用R表示。我们还使用一个下标t来表示某个时间步长的返还。在数学符号中，它是这样的: 如果我们让这个级数趋于无穷，那么我们最终会得到无限的返还，这对于问题的定义并没有太大意义。因此，只有在我们期望返还的级数终止时，这个方程才有意义...
马尔可夫决策过程（MDP）公式推导及理解（DataWhale组队学习笔记）
Savarus的博客
08-22 1935
本文对《蘑菇书EasyRL》第二章马尔可夫决策过程（MDP）的公式推导进行了梳理
3.2 动作价值函数
cxw的博客
12-29 2181
之前介绍的Bellman方程实际上是状态价值函数，V(s)V(s)V(s)。除此之外我们还可以定义动作价值函数Q(s,a)Q(s, a)Q(s,a)，即在状态s执行动作a所获得的总奖励，Q(s,a)Q(s, a)Q(s,a)可以通过V(s)V(s)V(s)来定义，同时也是Q-learning的基础。我们的主要目标是获得每对state和action的Q值。 Q(s,a)=Es′∼S[r(s,a)+γV(s′)]=∑s′∈Spa,s→s′(r(s,a)+γV(s′)) Q\left( s,a \right) =
强化学习公式推导（Actor-Critic）
10-21 1183
PG算法是对整个马尔科夫链（也就是每个trajectory）进行期望计算,最终推导的得到的公式如下: ▽θRθ‾=Eτ∼πθ(τ){∑t=1T▽θlog[πθ(at∣st)]}∗{∑t=1Tr(st,at)}(1) \tag{1} \triangledown_{\theta} \overline{R_\theta}= E_{\tau \sim \pi_{\theta}(\tau)}\{\sum_{t=1}^T \triangledown_{\theta}log[\pi_{\theta}(a_t|s_t)]\
贝尔曼方程
zbgzzz的博客
07-08 9471
累积折现回报（reward）    累积折现回报即cumulative discounted reward Rt=rt+1+γrt+2+γ2rt+3+⋯=∑k=0∞γrt+k+1(1)(1)Rt=rt+1+γrt+2+γ2rt+3+⋯=∑k=0∞γrt+k+1R_{t}=r_{t+1}+\gamma r_{t+2}+\gamma ^{2}r_{t+3}+\cdots =\sum\limits_...
RL（三）MDP与贝尔曼方程
weixin_42022175的博客
08-18 1550
目录马尔科夫决策过程最优策略 前一篇文章讲了强化学习的一个大概分类，这篇文章来介绍一下马尔科夫决策过程和贝尔曼方程。 马尔科夫决策过程 前面一篇文章已经对马尔科夫性有了一个大概的了解（未来状态只与当前状态有关，与历史状态无关），但是对MDP并没有一个很好的定义。在《人工智能-一种现代的方法》中对MDP有一个定义：对完全可观察的环境，使用马尔科夫转移模型和累加回报的这种序列式决策问题成为马尔科夫决策...
算法力扣刷题记录 五十九【450.删除二叉搜索树中的节点】
最新发布
danaaaa的博客
07-25 1244
删除节点，在左右子树不为空的情况，处理稍微复杂。
状态价值函数的贝尔曼方程推导
07-14
根据贝尔曼方程，状态价值函数可以表示为当前状态的立即奖励加上下一状态的折扣后的期望状态价值： V(s) = R(s,a,s') + γ * V(s') 其中，a 是在当前状态 s 下的动作，s' 是采取动作 a 后转移到的下一状态。V(s') ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

几度热忱

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值