reinforcement learning，增强学习：Integrating Learning and Planning

最新推荐文章于 2024-05-27 20:00:41 发布
最新推荐文章于 2024-05-27 20:00:41 发布
阅读量2.3k 收藏 2
点赞数 2
分类专栏： （深度）增强学习 文章标签： reinforcement learni RL 增强学习 Integrating Learning Learning and Plannin
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mmc2015/article/details/53452800
版权
本文探讨了模型自由和模型基强化学习的区别，重点介绍了模型基强化学习的流程、优势与劣势。学习模型的方法包括表格查找模型、线性期望模型等。有了模型后，通过样本基规划进行计划，如蒙特卡洛搜索。文章还提出了模型自由学习与模型基规划的整合方法——Dyna算法，旨在利用两种经验来源改进强化学习效果。
摘要由CSDN通过智能技术生成

好长时间没跟新了，这期间有好多事情（华为、微博、算法课），现在把最后几节课拾起来。



上节课内容和本节课内容


1）Model-Free和Model-Based的区别：

Model-Free RL：
No model
Learn value function (and/or policy) from experience


Model-Based RL：
Learn a model from experience
Plan value function (and/or policy) from model 






Model-Based Reinforcement Learning

1）整体流程如下，包括两大部分：model learning、知道model后如何做planning！


Advantages:
Can efficiently learn model by supervised learning met

最低0.47元/天 解锁文章
mmc2015
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Reinforcement learning: integrating learning and planning, exploitation and exploration
I AM BACK
01-02 394
介绍 基于模型的RL 整体框架 基于仿真的搜索 Exploration and Exploitation介绍越看到后面，我越发觉得RL更像是一种思想，Policy，State都需要自己进行定义，计算value function的过程也有公式，但是不如深度学习那么直接。之前的章节是说到如何从经验中得到policy和value function，这一节是如何从经验中获取模型。然后使用模型加经验来更新po
机器学习（三十六）——Integrating Learning and Planning（2）
antkillerfarm的专栏
11-04 350
Integrating Learning and Planning（续） Table Lookup Model 查表模型适用于MDP的P，R都为已知的情况。我们通过visit得到各状态行为的转移概率和奖励，把这些数据存入表中，使用时直接检索。状态转移概率和奖励计算方法如下： P^s,s′a=1N(s,a)∑t=1T1(St,At,St+1=s,a,s′)\hat{P}^a_{s,s'}=\frac...
强化学习中model-free和model-based
最新发布
再来一下！
05-27 684
特点Model-Free依赖环境模型是否学习方法学习环境模型并进行规划直接学习策略或价值函数计算复杂度较高，需要维护和利用环境模型较低，不需要显式的环境模型数据效率较高，通过模型可以进行模拟和规划较低，需要大量的交互数据适用场景环境模型已知或可估计环境复杂或难以建模示例算法动态规划、MCTS、Dyna-Q等Q学习、SARSA、DQN、策略梯度法等Model-based 和 model-free 强化学习算法各有优缺点，选择哪种方法取决于具体的应用场景和需求。
[Reinforcement Learning]Lecture 8：Integrating Learning and Planning
weixin_34270865的博客
11-26 126
[Reinforcement Learning]Lecture 8：Integrating Learning and Planning Outline 本章的一些概念的介绍 integrated Architectures（集合learning与planning） 基于仿真的搜索 介绍 基于模型的强化学习 在之前的课程中我们已经学习过了通过exp...
[强化学习-7] 模型和规划(model and planning)
Sundrops的专栏
09-07 985
之前的博客都在讲从之前的experience中学习policy或者value function，这一篇博客讲解从之前的experience中学习model 何为model 一句话总结就是状态转移概率和奖励 Learning a model 状态转移概率s, a → s‘可以看作是一个density estimation问题，而奖励s, a → r可以看做是regress...
【David Silver强化学习公开课】-8：Integrating Learning and Planning
omnispace的博客
01-17 327
一、Model-based RL Model-Free RL，从经验中学习价值函数（以及/或者策略）。 Model-based RL，从经验中直接学习环境的MDP模型。（状态转移概率P以及奖励矩阵R）从模型出发，规划价值函数（和/或策略）。能够更加有效的学习，减少模型的不确定性，但是缺点是会带来两个（学习模型，进行规划）过程的误差。 这里有一个重要的假设，就是R和P是互相独立的，也就
【强化学习】model-based和model-free的理解和误区
Katniss的Blog
01-13 883
model-based和model-free的理解和误区
reinforcement-learning-an-introduction-chinese:《强化学习
04-30
强化学习（Reinforcement Learning）的各位能更好的学习交流。 中文在线阅读地址：《》 英文原版地址： 翻译进度： 第二版前言 第一版前言 符号说明 第1章（粗译，粗校） 第2章（粗译） 第3章（粗译） 第4章...
Reinforcement Learning-Theory and Algorithm.pdf
02-04
关于强化学习的基础材料
Reinforcement-Learning-CPP:C ++从零开始的强化学习算法
04-30
cd Reinforcement-Learning-CPP make ./main 环境 代理人必须从A点到达B点。 A..........B 他有两个可用命令： left和righ 。 奖励政策如下： 如果（代理到达B点）{奖励= 1} 否则{reward = 0} 网络 尽管问题很...
强化学习导论中文版 增强学习导论中文版 Reinforcement learning an introduction 中文版.
06-04
6. 深度强化学习（Deep Reinforcement Learning, DRL）：随着深度学习的发展，神经网络被用于估计Q值或策略函数，形成了深度Q网络（Deep Q-Network, DQN）和策略梯度等方法，解决了高维度状态空间的问题，实现了在...
Reinforcement Learning_ Past, Present, and Future Perspectives
12-25
Reinforcement Learning_ Past, Present, and Future Perspectives,强化学习：过去、现在和未来(NeurIPS 2019),by Katja Hofmann，非常全面的强化学习总结英文资料，值得学习参考。
深入理解强化学习——学习（Learning）、规划（Planning）、探索（Exploration）和利用（Exploitation）
冯·诺依曼
10-17 908
一个常用的强化学习问题解决思路是，先学习环境如何工作，也就是了解环境工作的方式，即学习得到一个模型，然后利用这个模型进行规划。如下图所示，在规划中，环境是已知的，智能体被告知了整个环境的运作规则的详细信息。如下图所示，在强化学习中，环境初始时是未知的，智能体不知道环境如何工作，它通过不断地与环境交互，逐渐改进策略。[2] Richard S. Sutton, Andrew G. Barto. 强化学习（第2版）[M]. 电子工业出版社, 2019。
（深入理解）强化学习中Model-based和Model-free的区别是什么
qq_43391414的博客
11-28 1万+
强化学习方法分为Model-free和Model-based方法，那么这两种方法的区别在哪： 首先我们定义强化学习中的马尔可夫决策过程MDP，用四元组表示<script type="math/tex" id="MathJax-Element-8"> </scrip...
【转载】David Silver公开课4——Model-Free Learning
a3335581的博客
09-06 294
Model-Free Learning(解决未知Environment下的Prediction问题) 本文是David Silver强化学习公开课第四课的总结笔记。这一课主要讲了解决在未知environment的情况下强化学习的prediction问题的两种方法，分别是Monte-Carlo Reinforcement Learning和Temporal Difference。 【转载自】ch...
[强化学习]区分Model-free和Model-based方法
热门推荐
一番の宝物
11-13 4万+
所以，如果你想查看这个强化学习算法是model-based还是model-free的，你就问你自己这个问题：在agent执行它的动作之前，它是否能对下一步的状态和回报做出预测，如果可以，那么就是model-based方法，如果不能，即为model-free方法
强化学习系列（八）：Planning and learning with Tabular Methods（规划和离散学习方法）
LagrangeSK的博客
08-15 5429
一、前言 本章是对前面七章的一个总结归纳，前七章中我们首先介绍马尔科夫决策过程（MDP），而后介绍了求解环境模型已知的MDP的方法（model-based)——动态规划方法（DP)，启发式搜索也属于这类方法。最后针对环境模型未知(model free)的MDP，介绍了基于学习的强化学习方法——蒙特卡罗（MC）、时间差分（TD）等。前七章重点讨论了这两类方法的区别，但这两类方法也有以下共同点： ...
Reinforcement Learning[论文合集]
gdtop的个人笔记
04-07 4964
https://handong1587.github.io/deep_learning/2015/10/09/rl.html Jump to... 1.Tutorials 1.Simple Reinforcement Learning with Tensorflow 2. Courses 3. Papers 1.Surveys ...
深度强化学习精要：Grokking Deep Reinforcement Learning
"Manning.Grokking.Deep.Reinforcement.Learning.2020.10.pdf - 一本关于深度强化学习的专业书籍，由Miguel Morales撰写，Charles Isbell, Jr.作序，由Manning出版社出版。内容涵盖深度强化学习的理论与实践，旨在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值