深度强化学习cs294 Lecture7: Value Function Methods

最新推荐文章于 2023-10-18 23:57:42 发布
最新推荐文章于 2023-10-18 23:57:42 发布
阅读量516 收藏 2
点赞数
分类专栏： 深度强化学习 强化学习 文章标签： cs294
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_25037903/article/details/84840057
版权
深度强化学习cs294 Lecture7: Value Function MethodsValue-based MethodsQ-LearningValue Function Learning Theory回忆上节课所讲的内容，关于actor-critic算法的讲解。将policy gradient方法中目标函数梯度的计算进行一些替换，加入了bootstrapping减小方差，定义了无限步长形势...
摘要由CSDN通过智能技术生成

深度强化学习cs294 Lecture7: Value Function Methods

回忆上节课所讲的内容，关于actor-critic算法的讲解。将policy gradient方法中目标函数梯度的计算进行一些替换，加入了bootstrapping减小方差，定义了无限步长形势下的问题描述让算法支持在线形式等等。
在这里插入图片描述

Value-based Methods

这节课要讲的是不基于策略梯度的方式，而直接利用值函数，也就是critic的部分，来得到最终的策略。首先回忆advantage的定义，指的是当前动作比平均动作好的多少，而如果选择advantage函数最大的动作，这个动作肯定等于或好于任何其它动作，无论当前采用的策略是什么。也就是说这样做能得到比较好的策略。
在这里插入图片描述
基于每次都能得到更好的策略的想法，我们可以得到一个简单的策略，那就是policy Iteration策略。一共两步，第一步评估advantage函数，第二步基于advantage函数改进策略。
在这里插入图片描述
但是由于advantage函数需要由 V π V^{\pi} Vπ计算得到，因此我们需要先计算 V π V^{\pi} Vπ。

先假设状态空间和动作空间都是比较小且是离散形式的，因此就可以将 V π V^{\pi} Vπ函数当做是一个表格来进行维护。从一个初始值开始，利用自举的形式进行不断地更新。
在这里插入图片描述
假如我们的策略是确定性的且每次只选择最优的一个动作，那么就可以将其简写为上图最下方的等式。而这个计算的过程也叫作policy evaluation。
在这里插入图片描述
这个计算过程利用了动态规划的思想，而且实际上我们可以把这两个步骤合二为一，直接跳过策略的部分来计算状态值函数。
在这里插入图片描述
想要做到这样的效果要先引入状态动作值函数 Q π ( s , a ) Q^{\pi}(s,a) Q

最低0.47元/天 解锁文章
无所知
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
强化学习（五）——Value Function Approximation
LongXinKou的博客
10-18 718
强化学习基础（五）—— 价值函数近似
强化学习笔记（5）价值估计函数Value Function Approximation
铁锹的填坑记录
04-12 2532
文章目录Introduction如何选择Function Approximator?Incremental MethodsGradient Descent特征向量的形式Linear Value Function Approximation线性价值估计函数正确结果Batch MethodsLeast Squares PredictionExperience ReplayDQN (Deep Q-Net...
强化学习基础概念03——价值函数
qq_40694497的博客
01-28 7458
目录 value function 价值函数 action value function，动作价值函数Qπ。 问题一： 问题二： 问题三： 问题四：（optimal action value function最优动作价值函数Q*） 问题五： Statevaluefunction状态价值函数，Vπ。 问题六： 问题七： value function 价值函数 上文定义了discounted return折扣回报。未来的奖励要打个折扣，越久远的未来折扣越大，权重越低。其中Ut是...
强化学习价值函数方法笔记
天道酬勤
07-25 1706
对于状态价值函数，贝尔曼更新为 V(s) = E[R + γ * V(s') | s, a]，对于动作价值函数，贝尔曼更新为 Q(s, a) = E[R + γ * max(Q(s', a')) | s, a]，其中 R 是即时奖励，γ 是折扣因子。在这个例子中，我们使用动作价值函数（Q函数）来指导智能体的决策，并通过与环境的交互来逐步学习最优的Q函数。价值函数方法的核心思想是通过估计和更新价值函数，指导智能体的决策过程，使其逐步学习到在不同状态或状态-动作对下的最优行为策略，以最大化预期累积奖励或价值。
【David Silver强化学习公开课】-6：Value Function Approximation
omnispace的博客
01-17 435
一、介绍 找到一种适应真实情况（很大的状态空间）的RL方法，之前的价值函数表示是通过一个S×A的表（Table）来表示Q(s,a)。状态空间很大时，这种表示内存占用过大，而且单独学习每个state的价值函数太慢了。而且在遇到没有见过的状态时，表现会很差（缺少泛化能力）。 二、价值函数逼近-Incremental Online 使用参数化的价值函数V’(s,w)来逼近V(s)，
Berkeley 2017 深度强化学习 CS294
08-23
Table of Contents: Lecture Videos Lectures, Readings, and Assignments Prerequisites Related Materials Previous Offerings
深度强化学习课件lecture1
02-13
课件来自于UCberkeley课程官网，内容是深度强化学习课程的第一节课的课件，其中包含了深度学习、强化学习的简介；其他学习方式的介绍；典型的实验；推荐阅读的文章。
Lecture Notes: Cutting Plane Methods - MIT
09-15
6.859/15.083 Integer Programming and Combinatorial Optimization: Cutting Plane Methods I.
深度强化学习入门详细资料
05-28
深度强化学习（Deep Reinforcement Learning, DRL）是人工智能领域的一个重要分支，它结合了强化学习（Reinforcement Learning, RL）与深度学习（Deep Learning）的优势，使得智能体能够通过与环境的交互来学习最优...
Lecture 1:Introduction and Course Overview
07-11
【深度强化学习】是机器学习领域的一个重要分支，它结合了传统的强化学习理论与现代的深度学习技术。强化学习（Reinforcement Learning）的核心在于通过与环境的交互，学习一个最优策略，使得长期累积的奖励最大化。...
DRL(四)——Value Function
qq_41796745的博客
05-06 918
感觉这一讲的内容大多都在复习之前我在RL里学过的内容，而且我发现，相比于David Silver 的强化学习内容，这个伯克利的DRL课程顺序刚好相反。RL是由表格型开始，讲了V(s) 和 Q(s, a)，之后再讲的Function approximator，而DRL是先Policy Gradient 然后才提到Q Function。 虽然内容都差不多，但是我还没明白不同的顺序是否侧重点不同，而两...
Reinforcement Learning: value function approximation
I AM BACK
12-27 698
introduction incremental methods增量法state value function with prediction approximation action value function with control approximation batch methods批处理introduction上一节讲到使用采样的方法进行，状态和action space都比较小的情况，
强化学习的学习之路（十六）_2021-01-16:价值函数近似（Value function approximation）
热爱可抵漫长岁月
01-15 448
作为一个新手，写这个教程也是想和大家分享一下自己学习强化学习的心路历程，希望对大家能有所帮助。这个系列后面会不断更新，希望自己能保证起码平均一天一更的速度，先是介绍强化学习的一些基础知识，后面介绍强化学习的相关论文。本来是想每一篇多更新一点内容的，后面想着大家看CSDN的话可能还是喜欢短一点的文章，就把很多拆分开来了，目录我单独放在一篇单独的博客里面了。完整的我整理好了会放在github上，大家一起互相学习啊！可能会有很多错漏，希望大家批评指正！ Value function approximation 为
强化学习系列（一）：强化学习简介
LagrangeSK的博客
07-07 1万+
一、强化学习是什么？ 首先，我们思考一下学习本身，当一个婴儿在玩耍时可能会挥舞双手，左看右看，没有人来指导他的行为，但是他和外界直接通过了感官进行连接。感知给他传递了外界的各种信息，包括知识等。学习的过程贯穿着我们人类的一生，当我们开车或者说话时，都观察了环境，并执行一系列动作来影响环境。强化学习描述的是一个与环境交互的学习问题。 那么强化学习是如何描述这一学习过程的呢？以人开车为例，将人和车...
强化学习SAC算法简介
最新发布
ahah12345678的博客
10-18 1595
SAC算法能够高效地解决连续动作空间中的强化学习问题，尤其适用于具有高维度状态空间和动作空间的问题。self.action_logits = self.policy_model(np.zeros((1, state_size), dtype=np.float32), training=True) # 初始化策略函数输出。（4）利用所学习的价值函数对策略进行评估，并利用所学习的策略函数选择具有最大期望回报的动作。4.更新策略函数：利用所收集的经验，使用梯度上升方法更新策略函数。
matlab内部迭代函数_MATLAB：向量化编程提升值函数迭代（Value Function Iteration）的速度...
weixin_39884100的博客
02-01 1569
作者: 王美庭Email: wangmeiting92@gmail.com参考资料：我们高宏王彬老师的讲义考虑以下贝尔曼方程：迭代思想为：直至值函数收敛。在编程时，我们需要对函数进行离散化。于是令构建 矩阵：该矩阵第 行的最大值即为 ，从而可得到下一期的 。依此类推，即可构建出值函数迭代的编程过程。最开始时，我们可能会考虑使用循环来得到 矩阵，这在思维上是比较清晰易懂、在编程中也是...
音视频开发技术的进阶路线
paradox_1_0的博客
10-02 1284
1. 音视频开发包括哪些内容 虽然一篇文章无法把音视频开发的知识点都介绍清楚，但是大概的学习路线还是可以梳理一下的，我们先看看下面这张图： 其实说白了，音视频开发，就是要掌握图像、音频、视频的基础知识，并且学会如何对它们进行采集、渲染、处理、传输等一系列的开发和应用。 采集：它解决的是，数据从哪里来的问题 渲染：它解决的是，数据怎么展现的问题 处理：它解决的是，数据怎么加工的问题 传输：它解决的是，数据怎么共享的问题 每一个门类，都可以深挖，衍生...
2017 Fall CS294 Lecture 7: Value Function Methods
qiusuoxiaozi的博客
03-20 332
回忆Aπ(st,at)Aπ(st,at)A^\pi(s_t,a_t)的含义，如果使用下述的π′(at|st)π′(at|st)\pi'(a_t|s_t)来取代at∼π(at|st)at∼π(at|st)a_t\sim \pi(a_t|s_t)，那么由于π′π′\pi'是取了max的，那么至少不会比ππ\pi要差。那么算法的流程就如右小角的那个图一样，不断的用π′π′\pi'来更新ππ\pi，然后用...
系统学习机器学习之增强学习（二）--马尔可夫决策过程
热门推荐
工作笔记
02-16 2万+
参考： http://blog.csdn.net/zz_1215/article/details/44138823 http://www.cnblogs.com/jerrylead/archive/2011/05/13/2045309.html https://www.cnblogs.com/pinard/p/9426283.html 在系统学习机器学习之增强学习（一）--模型基础中，我们...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值