强化学习（五）——Value Function Approximation

最新推荐文章于 2024-07-01 14:38:24 发布
最新推荐文章于 2024-07-01 14:38:24 发布
阅读量733 收藏
点赞数
分类专栏： 强化学习 文章标签： 算法 RL 强化学习 pytorch 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/koulongxin123/article/details/127284469
版权
本文探讨了在强化学习中，由于表格型方法在大规模环境的局限性，引入了价值函数近似，利用梯度下降和批量方法优化近似函数。介绍了增量方法中的梯度下降、增量预测和控制算法，以及批量方法如最小二乘法和经验回放。此外，还阐述了DQN算法如何通过双网络实现近似函数和最优策略的优化。
摘要由CSDN通过智能技术生成

文章目录

Reference

[1] David Silver: https://youtu.be/UoPei5o4fps

在强化学习（四）中，我们学习了在Model Free环境下分别使用MC, TD进行策略评估的策略控制方法。并按照学习方式划分为On Policy和Off Policy两种类型，比如Sarsa和Q-Learning两类表格型方法。
表格型方法在大规模强化学习环境中表现不好。因为需要保存所有的状态动作对的价值所以会耗费很大的时间与空间。
在这里插入图片描述
因此我们可以采用函数近似代替表格型方法，同时采用MC或TD方法更新近似参数 w w w。近似函数需要满足可导条件，我们常使用线性函数或者神经网络进行函数近似。
在这里插入图片描述
下面我们将讨论如何使用MC和TD方法，对价值近似函数进行优化，以及如何使用近似价值函数进行策略迭代。

1. Incremental Methods

增量方法采用梯度下降算法优化价值函数近似。

1.1 梯度下降（Gradient Descent）

（1）定义
在这里插入图片描述

（2）目标函数
假设已知真实的价值函数，我们希望最小化真实的价值函数 v π ( s ) v_\pi(s)

最低0.47元/天 解锁文章
冠long馨
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
在线学习的深度强化学习——Online Reinforcement Learning for Learning
程序员光剑
09-01 2404
在人工智能和机器学习领域，深度强化学习（Deep Reinforcement Learning，DRL）已经成为一个备受关注的研究方向。传统的强化学习方法在处理高维状态空间和复杂决策问题时往往力不从心，而深度强化学习通过结合深度学习的强大表示能力，极大地扩展了强化学习的应用范围。然而，在实际应用中，我们常常面临着动态变化的环境和持续输入的数据流，这就要求学习算法能够实时地适应新的情况，不断调整和优化决策策略。在线学习（Online Learning）作为机器学习的一个重要分支，专门解决在。
DRL基础（一）——强化学习发展历史简述
热门推荐
二向箔
04-16 1万+
【摘要】这篇博客简要介绍强化学习发展历史：起源、发展、主要流派、以及应用举例。强化学习理论和技术很早就被提出和研究了，属于人工智能三大流派中的行为主义。强化学习一度成为着人工智能研究的主流，最近十年多年随着以深度学习为基础的联结主义的兴起，强化学习在感知和表达能力上得到了巨大提升，在解决某些领域的问题中达到或者超过了人类水平：在围棋领域，基于强化学习和蒙特卡洛树搜索的AlphaGo打败了世界顶级专业棋手；在视频游戏领域，基于深度强化学习的游戏智能体在29款Atari游戏中超过人类平均水平；在即时战略游戏领.
深度强化学习cs294 Lecture7: Value Function Methods
无所知的博客
12-05 596
深度强化学习cs294 Lecture7: Value Function MethodsValue-based MethodsQ-LearningValue Function Learning Theory 回忆上节课所讲的内容，关于actor-critic算法的讲解。将policy gradient方法中目标函数梯度的计算进行一些替换，加入了bootstrapping减小方差，定义了无限步长形势...
[Reinforcement Learning] Value Function Approximation
weixin_34315189的博客
11-01 98
为什么需要值函数近似？ 之前我们提到过各种计算值函数的方法，比如对于 MDP 已知的问题可以使用 Bellman 期望方程求得值函数；对于 MDP 未知的情况，可以通过 MC 以及 TD 方法来获得值函数，为什么需要再进行值函数近似呢？ 其实到目前为止，我们介绍的值函数计算方法都是通过查表的方式获取的： 表中每一个状态 \(s\) 均对应一个 \(V(s)\) 或者每一个状态-动作 <\(...
细水长流：sklearn中模型的增量预测之道
最新发布
2401_85812026的博客
07-01 525
在机器学习的浪潮中，scikit-learn（简称sklearn）以其强大的算法库和简洁的API设计，成为了数据科学家们的得力助手。然而，面对数据流源源不断的现实世界，如何使用sklearn进行增量预测——即逐步地将新数据纳入模型以进行预测，同时保持模型性能——成为了一个值得探讨的问题。增量预测是一种适应数据流的预测方法，它允许模型在新数据到来时即时更新，从而提供更为及时的预测结果。通过本文的学习，你现在应该能够理解增量预测的概念，并能够使用sklearn进行实际的增量预测任务。
强化学习(五)
weixin_45411464的博客
11-05 813
Keys 1. reward shaping： 在我们的agent与environment进行交互时，我们人为的设计一些reward，从而“指挥”agent，告诉其采取哪一个action是最优的，而这个reward并不是environment对应的reward，这样可以提高我们estimate Q-function时的准确性。 2. ICM（intrinsic curiosity module）： 其代表着curiosity driven这个技术中的增加新的reward function以后的reward
Value function approximation
Steve Wang's blog
10-28 1241
前面的一篇博客:Model-free control：如何从经验中学习一个好的策略 到目前为止，我们都假设了可以将价值函数或state-action价值(即Q函数)表示成向量或者矩阵 表格表示法 很多现实世界的问题会有巨大的状态空间 和/或 动作空间 表格表示法是不够用(insufficient)的 回顾：强化学习包括 Optimization(优化) Delayed consequence...
Reinforcement Learning: value function approximation
I AM BACK
12-27 713
introduction incremental methods增量法state value function with prediction approximation action value function with control approximation batch methods批处理introduction上一节讲到使用采样的方法进行，状态和action space都比较小的情况，
4. 强化学习之——值函数近似
June
06-11 2445
课程纲要 值函数近似简介 值函数近似用于prediction【给定策略函数给定它的价值】 值函数近似用于control DQN简介 为什么要有值函数近似 之前的课程提到的 RL 问题：像 Cliff Walk 等，都只有几千或者几百种状态，可以用 V值的向量或者Q-Table 的方式表达出来 而其它大规模的 MDP 问题：像 Go【10**170】 等状态空间十分十分巨大，宇宙中的原子数量也只有 10**80 那么多，那么我们就没有那么大的存储空间，而且状态太多了学习起来很慢很慢 在这种大.
强化学习系列（十一）：Off-policy Methods with Approximation
LagrangeSK的博客
09-05 4120
一、前言 针对Policy iteration 中存在的exploitation问题，在第五章中将强化学习算法分为on-policy算法和off-policy算法。前两章中，我们讨论了对on-policy问题的函数逼近，本章中将重点介绍off-policy问题的函数逼近。两者差异很大。第六章、第七章中出现的 tabular off-policy 方法很容易用semi-gradient方法进行扩展...
强化学习（五）——Sarse和Q-learning
乘风破浪2014
04-29 1516
前言 Sarse和Q-learning： 类属于时序差分方法，因此就不难理解，两者对价值函数的更新公式中，都是先对当前时刻的收获G(t)G(t)G(t)进行了近似。此外，两种方法也都是属于无模型的强化学习，即agent对环境的状态转移概率是未知的，需要与环境互动。其中，Sarse是时序差分在线控制算法，Q-learning是时序差分离线控制算法。 离线算法和在线算法：判断的依据是生成样本的pol...
【深度学习】强化学习（三）强化学习的目标函数
天地玄黄 魑魅魍魉 风花雪月 商角徵羽 暂时停更 十月重见
12-09 2432
本文介绍了强化学习的目标函数，包括总回报与折扣回报的概念、目标函数的定义及优化等
【强化学习的数学原理-赵世钰】课程笔记（八）值函数近似（value function approximation）
qq_64671439的博客
04-09 1899
万字长文，环环相扣，详细介绍强化学习 DQN 和值函数近似（value function approximation）的原理，会持续更新
强化学习基础概念03——价值函数
qq_40694497的博客
01-28 7813
目录 value function 价值函数 action value function，动作价值函数Qπ。 问题一： 问题二： 问题三： 问题四：（optimal action value function最优动作价值函数Q*） 问题五： Statevaluefunction状态价值函数，Vπ。 问题六： 问题七： value function 价值函数 上文定义了discounted return折扣回报。未来的奖励要打个折扣，越久远的未来折扣越大，权重越低。其中Ut是...
强化学习的学习之路（十六）_2021-01-16:价值函数近似（Value function approximation）
热爱可抵漫长岁月
01-15 459
作为一个新手，写这个教程也是想和大家分享一下自己学习强化学习的心路历程，希望对大家能有所帮助。这个系列后面会不断更新，希望自己能保证起码平均一天一更的速度，先是介绍强化学习的一些基础知识，后面介绍强化学习的相关论文。本来是想每一篇多更新一点内容的，后面想着大家看CSDN的话可能还是喜欢短一点的文章，就把很多拆分开来了，目录我单独放在一篇单独的博客里面了。完整的我整理好了会放在github上，大家一起互相学习啊！可能会有很多错漏，希望大家批评指正！ Value function approximation 为
值函数近似Value Function Approximation
weixin_45526117的博客
02-20 917
值函数有两种：状态值函数V(s)和动作状态值函数Q(s,a)。对于大规模MDP问题，有很多state或者action需要存储，单个学习每种状态的价值非常慢，因此使用函数逼近function approximation来估计value function。
深入理解强化学习——强化学习智能体的四要素：价值函数（Value Function）
冯·诺依曼
10-16 1223
收益信号表明了在短时间内什么是好的，而价值函数则表示了从长远的角度看什么是好的。简单地说，一个状态的价值是一个智能体从这个状态开始，对将来累积的总收益的期望。例如，某状态的即时收益可能很低，但它仍然可能具有很高的价值，因为之后定期会出现高收益的状态，反之亦然。用人打比方，收益就像即时的愉悦（高收益）和痛苦（低收益），而价值则是在当前的环境与特定状态下，对我们未来究竟有多愉悦或多不愉悦的更具有远见的判断。价值函数的值是对未来奖励的预测，我们用它来评估状态的好坏。Q函数是强化学习算法里面要学习的一个函数。
强化学习6：值函数近似 Value Function Approximation
Ray778的博客
09-04 308
本文主要讲述了值函数近似的相关内容
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

冠long馨

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值