强化学习笔记（一） Model-Free Policy Evaluation

最新推荐文章于 2024-08-10 11:59:31 发布
最新推荐文章于 2024-08-10 11:59:31 发布
阅读量331 收藏 2
点赞数 1
文章标签： 强化学习 python 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LuoMin2523/article/details/117966341
版权
本文深入解析了model-free无模型学习的概念，介绍了MC算法（尤其是firstvisit MC与everyvisit MC及incremental MC的区别），并与TD算法进行对比，探讨了值函数迭代与策略函数迭代的差异。通过实例和课程资料，帮助读者理解在实际应用中如何选择和运用这两种关键的强化学习算法。
摘要由CSDN通过智能技术生成

目录

问题1:什么是model-free？

问题2:什么是MC算法？

问题3:first visit  MC与every visit MC有什么区别？ 

 问题4:first visit MC、every visit MC 与incremental MC有什么区别吗？

问题5:TD算法与MC算法的区别？

 

嘚嘚嘚...唠叨小主驾到，哈哈，今天我们来复习一下，值函数迭代和策略函数迭代。首先，来看一下，三道题：

 这三道题是斯坦福大学课件中的题目，我们一起来看一下官方给的答案：

 官方解释的很清楚啦，唠叨小主就不过多的解释了。还有一个重点：值函数迭代和策略函数迭代的区别！！下面这张图取自周博磊老师的课件：

今天的任务是MC算法和TD算法的讲解，接下来，步入主题！

问题1:什么是model-free？

答：model-free，称为无模型学习。无模型学习不需要关于环境的信息，不需要搭建假的环境模型&

最低0.47元/天 解锁文章
唠叨小主
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
强化学习&蒙特卡洛3.4 | Every-visit 和 First-visit MC
ASKCOS博客
03-06 2001
对与一个较长的episode，如果出现了在同种状态下采取相同动作得到不同回报，有两种处理方式。 第一种名称为Every-visit MC是计算这几个的平均值，第二种是First-visit MC只保留第一次的结果
强化学习总结(1-2)——model-base(policy evaluation；policy control)
渣渣屋
12-15 550
文章目录强化学习总结(1-4)马尔科夫决策过程policy evaluationpolicy controlpolicy iterationvalue iteration两种方法的区别 强化学习总结(1-4) 马尔科夫决策过程 ​ 马尔科夫决策过程是一个model-base过程，它分为策略估值policy evaluation与策略控制policy control。就是已知一个策略估计状态函数的值，和求解一个最优策略。 policy evaluation ​ 策略估值evaluation的情况下，主要采用动
Model-free强化学习
lsjmax的博客
10-17 1435
强化学习几个问题 1.在线学习与离线学习 在线学习：agent与环境在线交互，将样本在线学习后，使用一次就丢掉。 离线学习：agent与仿真环境进行交互，将样本进行存储，也可以从别的地方直接拿来样本，可重复的从样本池中抽取样本进行学习。 离线学习样本的利用率较高，但是需要保证样本的可用性。 2.奖励的延迟 agent与环境交互，每次得到的是立即回报，可能需要一连串动作后，才能达到最终的成功状态，获...
强化学习中model-free和model-based
再来一下！
05-27 705
特点Model-Free依赖环境模型是否学习方法学习环境模型并进行规划直接学习策略或价值函数计算复杂度较高，需要维护和利用环境模型较低，不需要显式的环境模型数据效率较高，通过模型可以进行模拟和规划较低，需要大量的交互数据适用场景环境模型已知或可估计环境复杂或难以建模示例算法动态规划、MCTS、Dyna-Q等Q学习、SARSA、DQN、策略梯度法等Model-based 和 model-free 强化学习算法各有优缺点，选择哪种方法取决于具体的应用场景和需求。
模仿学习论文 无模式的模仿学习 Model-Free Imitation Learning with Policy Optimization
11-25
Model-Free Imitation Learning with Policy Optimization Jonathan Ho Jayesh K. Gupta Stefano Ermon .26 May 2016
model-free强化学习-Policy-based
winycg的博客
05-20 572
Policy-based 将神经网络作为一个Actor，输入是观测observation，表示形式是一个向量或一个矩阵。输出是每个行为对应的概率，类似于分类问题中的判断类别，会对应每个类别有个概率，如下如所示： 考虑一个episode τ={s1,a1,r1,s2,a2,r2,...,sT,aT,rT,}\tau=\{s_{1},a_{1}, r_{1},s_{2},a_{2}, r_{2},....
Model-Free Policy Evaluation 无模型策略评估
Steve Wang's blog
10-12 837
Mode-Free Policy Evaluation: Policy Evaluation Without Knowing How the World Works Policy evaluation without known dynamics & reward models This Lecture: Policy Evaluation 在没有权限访问真实MDP模型的条件下估计一...
初探强化学习(6)到底TMD什么是model-based和model-free(基于模型的强化学习和基于模型的强化学习 TMD的到底是什么)
qq_33328642的博客
03-16 3406
0 如何定义无模型和有模型 在实际应用中，根据agent是否通过与环境交互获得的数据来预定义环境动态模型，将RL分为模型化强化学习和无模型强化学,具体如图１所示。 1 有模型的中的模型model到底指的是什么？ ----基于模型的强化学习指先在与环境交互的数据中创建环境动态模型，然后基于该模型学习最优策略。它一般包含状态转移预测和奖励预测两个独立模型。如果两个模型可以准确描述真正的环境动态模型，那么当输入一个状态和动作时就不需要与环境进行实时交互，可以直接基于模型预测得到新的状态和动作奖励，从而极大地提高
强化学习笔记(4)无模型控制Model-Free Control(On-policy learning, off-policy learning, GLIE, Sarsa, Q-learning)
01-07
文章目录Introduction概念On-Policy learningOff-Policy learningMonte-Carlo Control问题1：使用行为价值函数代替状态价值函数贪婪策略基于行为价值函数的更新：问题2：使用贪婪算法的局限性例解决方案：ϵ−greedy...
云的学习笔记-云的学习笔记系统-云的学习笔记系统源码-云的学习笔记管理系统-基于ssm的云的学习笔记系统-ssm-java代码
04-16
云的学习笔记-云的学习笔记系统-云的学习笔记系统源码-云的学习笔记管理系统-云的学习笔记管理系统java代码-云的学习笔记系统设计与实现-基于ssm的云的学习笔记系统-基于Web的云的学习笔记系统设计与实现-云的学习...
model-free 强化学习方法基础——蒙特卡罗策略优化
HEU_Yutianqi的博客
04-16 1140
最基本的model-free方法——MC法策略评估详解
强化学习点滴- model-free vs. model-based； on-policy vs. off-policy
选好坑 挖好坑 才会结出好的果子
04-15 437
Model-free: 不需要知道状态之间的转移概率（transition probability），仅仅依赖agent和environment进行实时的交互。 并不一定使用当前策略产生的样本。 Model-free method attempts to learn the optimal policy in ONE step, such as Q-learning, which learns the optimal policy in the environment after certain itera
【强化学习】强化学习中，model free指的什么？详细进行解释
最新发布
wq6qeg88的博客
08-10 928
强化学习（Reinforcement Learning, RL）是一种通过试错（trial and error）学习优化决策策略的方法。在强化学习中，模型可以分为两大类：模型自由（Model-Free）和模型基（Model-Based）方法。下面将详细介绍模型自由方法（Model-Free），它在强化学习中扮演着重要角色。
（深入理解）强化学习中Model-based和Model-free的区别是什么
热门推荐
qq_43391414的博客
11-28 1万+
强化学习方法分为Model-free和Model-based方法，那么这两种方法的区别在哪： 首先我们定义强化学习中的马尔可夫决策过程MDP，用四元组表示<script type="math/tex" id="MathJax-Element-8"> </scrip...
强化学习笔记：Q-learning
qq_40206371的博客
10-28 567
在强化学习笔记： MDP - Policy iteration_UQI-LIUWJ的博客-CSDN博客中我们提到了Q-table，同时我们说到，对于model-free的MDP，最开始这张 Q 表格会全部初始化为零，然后 agent 会不断地去和环境交互得到不同的轨迹。当交互的次数足够多的时候，我们就可以估算出每一个状态下，每个行动的平均总收益，然后去更新这个 Q 表格。 在没法获取 MDP 的模型情况下，我们可以通过以下两种方法来估计某个给定策略的价值： Monte...
强化学习&动态规划2.1 | 策略评估 Policy Evaluation
ASKCOS博客
04-16 1382
假设智能体已经知道该环境的所有信息，因此智能体知道该环境如何决定下个状态，并知道该环境如何得到奖励。 在这个图中，智能体已经知道了关于该环境的所有信息如图所示，目标是从左上角到达右下角。图中右边的等式表示为每个状态下采取不同动作的概率都为1/2, 通过贝尔曼方程得到了下面四个等式，因为S4是终点所以值为0. 联立方程组求得每个状态价值函数的值为0,2,2,0. 但是通常状态空间要大很多，解方程...
reinforcement learning，增强学习：Policy Evaluation，Policy Iteration，Value Iteration，Dynamic Programming f
mmc2015的专栏
10-19 7500
首先回忆上一次的内容： Bellman Expectation Equation： 【计算时常用】 【计算时常用】 【计算时常用】 Bellman Optimality Equation： 为什么DP能够解决MDP问题： Policy Evaluation： 1）要解
强化学习（Reinforcement Learning）知识整理
神秘少年的博客
02-28 1万+
传送门：https://zhuanlan.zhihu.com/p/25319023 因为准备投入学习 CS294，具体见 知乎专栏，复习了下之前学习 Udacity 和 CS181 中有关强化学习部分的笔记和资料，再看了遍 David Silver 课程的 PPT，整理成了这篇文章。 马尔可夫决策过程（Markov Decision Processes,MDPs） MDP
model-free 的理解
moshanghuakai_pang的博客
10-11 1432
"STM8学习笔记---定时器输出7路PWM波综合教程
本文介绍了STM8单片机中的定时器...以上是本文的主要内容，总结了STM8学习笔记中关于定时器输出7路PWM波的综合文档。通过详细描述定时器的功能和配置方法，希望读者能够理解并掌握在STM8单片机中实现PWM波输出的方法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值