深度强化学习（二）强化学习算法的分类

最新推荐文章于 2024-04-05 17:14:40 发布
VIP文章 最新推荐文章于 2024-04-05 17:14:40 发布
阅读量3w 收藏 165
点赞数 24
分类专栏： 强化学习 文章标签： 强化学习分类
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/daydayjump/article/details/92620460
版权

对于强化学习的分类，主要参考了莫烦大佬的视频和OpenAI的Spinning Up的介绍。

一、Model-Free和Model-Based两大类

上图是Spinning Up中的分类图。对于model的理解就是强化学习中的环境。根据是否去学习环境来进行分类。根据转移概率是否已知进行分类的。

Model-free就是不去学习和理解环境，环境给出什么信息就是什么信息，常见的方法有policy optimization和Q-learning。

Model-Based是去学习和理解环境，学会用一个模型来模拟环境，通过模拟的环境来得到反馈。根据莫烦大佬的解释，Model-Based相当于比Model-Free多了模拟环境这个环节，通过模拟环境预判接下来会发生的所有情况，然后选择最佳的情况。

二

最低0.47元/天 解锁文章
daydayjump
关注
  • 24
    点赞
  • 踩
  • 165
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
深度强化学习落地方法论训练篇：PPO、DQN、DDPG、学习率、折扣因子等
丨汀、的博客
07-15 2711
深度强化学习落地方法论训练篇：PPO、DQN、DDPG、学习率、折扣因子等
基于PPO算法的智能汽车端到端深度强化学习控制研究
02-25
(3) 本文建立了一种基千近端策略优化算法的端到端深度强化学习自动驾驶控制理论模型。模型主要分为状态空间特征提取模型、PPO强化学习模型、环境交互模型。 (4)本文对比了主流的自动驾驶仿真平台，选择CARLA作为本...
深度强化学习和贪婪搜寻算法的训练对比仿真
05-06
深度强化学习和贪婪搜寻算法的训练对比仿真
强化学习算法的分类
最新发布
weixin_41106546的博客
04-05 130
另一方面， 在实际应用中，学习得到的模型往往是不准确的，这给智能体训练引入了估计误差，基于带误差 模型的策略的评估和提升往往会造成策略在真实环境中失效。一些常见的Actor-Critic类的算法包括Actor-Critic（AC）算法(Suttonetal., 2018) 和一系列改进：（1）异步优势Actor-Critic算法（A3C）(Mnihetal.,2016)将Actor-Critic 方 法扩展到异步并行学习，打乱数据之间的相关性，提高了样本收集速度和训练效率；与基于模型的方法相比，
深度强化学习主流算法介绍（二）：DPG系列
lllzzzhhh2589的记录
01-23 5813
之前的文章可以看这里 深度强化学习主流算法介绍（一）：DQN系列 相关论文在这里 开始介绍DPG之前，先回顾下DQN系列 DQN直接训练一个Q Network 去估计每个离散动作的Q值，使用时选择Q值大的动作去执行（贪婪策略） DQN可以处理每个离散的动作，对于连续动作空间上，虽然可以细分步长转化为更多的离散动作来做，但效果不好且训练成本倍增，由此学者们想到了Policy Gradient 确定策略梯度。 一、PG Policy Gradient 策略梯度算法是一种更为直接的方法，它让神经网络直接输出策
深度强化学习（DRL）一：入门篇
钟鸣的博客
02-27 1万+
目录前言强化学习（RL）的基本概念主要算法和相关分类QlearningSarsaA3C强化学习到深度强化学习 前言 之前通过对AlphaGo Zero的学习，我对深度强化学习有了一定的了解。但是由于没有经过系统的学习，我对其中的知识还有很多不懂的地方。写这一系列文章主要是整理一下网上的资料，梳理这方面的知识，做一下总结。目前网上关于深度强化学习的应用这方向的资料不算多，再加上深度强化学习本身也是一...
深度强化学习的常用算法——DQN，DDPG，PPO
禅与计算机程序设计艺术
08-05 1458
2015年末，机器学习已经成为人类与机器交互的新方式。近几年，随着强化学习在各个领域的广泛应用，深度强化学习也逐渐成为学术界和工业界研究的热点话题。深度强化学习（Deep Reinforcement Learning）是基于机器学习和大数据等技术提出的一种新的机器学习方法。它利用大量的实时反馈信息和高维动作空间，通过学习从原始输入到执行动作的映射关系，从而解决复杂问题，取得比传统机器学习更好的效果。其中最著名的就是由OpenAI开发的强化学习库OpenAI Gym。
强化学习算法分类汇总
白水的博客
02-24 4187
文章目录1. Model-Free 与 Model-Based RL2. Policy-Based 与 Value-Based RL3. Monte-Carlo Update 与 Temporal-Difference Update RL4. On-Policy 与 Off-Policy RL 1. Model-Free 与 Model-Based RL 根据Agent是否理解其所处的环境，可以将强化学习方法分为：无模型的强化学习(Model-Free RL)和基于模型的强化学习(Model-Based R
强化学习分类与汇总介绍
zephyr_wang的博客
03-18 7839
强化学习分类与汇总介绍
强化学习——强化学习的算法分类
weixin_41521681的博客
08-15 3286
1. 算法分类 现代强化学习算法分类 ---图片来自Open AI Spinning up 项目--- 由于强化学习是一个更新速度非常快的领域，所以准确地全面地分类是相当困难的，Spinning up 项目组给出的这个分类虽然并不全面，但是对初学者来说是非常有用了。 可以看出强化学习可以分为Model-Free(无模型的) 和 Model-based(有模型的) 两大类。Model-Free 又分成基于Policy Optimization(策略优化)和Q-learning。Model...
深度学习+强化学习=深度强化学习
TSINGHUAJOKING
01-23 1万+
#mermaid-svg-WFqfegK8UQpCBS9l .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:#333}#mermaid-svg-WFqfegK8UQpCBS9l .label text{fill:#333}#mermaid-svg-WFqfegK8UQpCBS9l .node rect,#mermaid-svg-WFqfegK8U.
深度强化学习（DRL）简介与常见算法（DQN，DDPG，PPO，TRPO，SAC）分类
热门推荐
b_b1949的博客
02-13 2万+
简单介绍深度强化学习的基本概念，常见算法、流程及其分类（持续更新中），方便大家更好的理解、应用强化学习算法，更好地解决各自领域面临的前沿问题。欢迎大家留言讨论，共同进步。
深度强化学习基础知识 思维导图
05-15
强化学习基本概念 基本方法（Value-Based、Policy-Based、Actor-Critic） 策略学习（Reinforce with baseline、A2C） 价值学习（Sarsa、Q-Learning（DQN）） 连续动作控制（DPG、DDPG） 包含上述各种基本算法的原理...
深度强化学习的调度策略优化算法
06-19
深度强化学习的调度策略优化算法 https://github.com/xwhan/walk_the_blocks
大规模车辆路径问题的深度强化学习算法研究 mind map
09-02
本文中的深度强化学习算法解决了以下问题： （1） 不同规模算例可以共享并继承其他规模训练完的模型，在这种共享模型的机制下， 避免了算例规模相近的模型的重复训练。 （2） 预训练模型能够继承其他规模训练出的...
从0开始强化学习——强化学习的简介和分类
志远的博客
01-11 2536
目录 写在前面 1. 强化学习简介 2. 强化学习分类 写在前面 最近一直在给老板打工，已经很久没有写过博文了，最近打算系统学习一遍强化学习，所以就开个新坑，和大家分享一下在学习过程中的收获，未来一段时间将不定期更新~ 本文内容 1. 强化学习简介 2. 强化学习分类 一、 强化学习简介 强化学习（Reinforcement Learning, RL），是机器学习常见的方法之一，用于描述和解决智能体（agent）在与环境的交互过程中通过学习策略以达成回报最大化或实现特定...
强化学习笔记4：强化学习分类
qq_40206371的博客
07-29 5647
1 model-free & model-based 我们可以将所有强化学习的方法分为model-free和model-based，即理不理解所处环境。 如果我们不尝试去理解环境, 环境给了我们什么就是什么.。我们就把这种方法叫做 model-free, 这里的 model 就是用模型来表示环境。 如果一种强化学习算法理解了环境，那么这种强化学习算法就学会了用一个模型来代表环境, 这种强化学习就是 model-based 方法。相比于mod......
强化学习主要算法原理及代码示例
qq_40553788的博客
05-14 3915
它的全称是State-Action-Reward-State-Action，即状态-动作-回报-下一个状态-下一个动作。SARSA算法的核心思想是在当前状态下，选择一个动作，执行该动作后进入下一个状态，然后再根据下一个状态选择下一个动作，以此类推，直到达到目标状态或者达到最大迭代次数。SARSA：基于值函数的强化学习算法，与Q-learning类似，但是它采用了一种更加保守的策略，即在当前状态下采取的动作。PPO：近似策略优化算法，通过使用一种近似的目标函数来更新策略，可以在保证稳定性的同时提高学习效率。
强化学习-李(O)：综述【Critic--＞Q-Learning算法、Actor/Policy π--＞Policy Gradient算法--off--＞PPO算法、Actor-Critic算法】
u013250861的博客
12-30 5974
强化学习是一种对目标导向的学习与决策问题进行理解和自动化处理的计算方法。它强调智能体通过与环境的直接互动来学习，而不需要可效仿的监督信号或对周围环境的完全建模，因而与其他的计算方法相比具有不同的范式。 强化学习使用马尔可夫决策过程的形式化框架，使用状态，动作和收益定义学习型智能体与环境的互动过程。这个框架力图简单地表示人工智能问题的若干重要特征，这些特征包含了对因果关系的认知，对不确定性的认知，以及对显式目标存在性的认知。 价值与价值函数是强化学习方法的重要特征，价值函数对于策略空间的有效搜索来说十分重
深度强化学习算法分类
10-10
深度强化学习算法可以分为以下几类： 1. 基于值函数的算法：这类算法的目标是估计价值函数，例如Q-learning和Deep Q-Network（DQN）。 2. 基于策略函数的算法：这类算法的目标是直接学习策略函数，例如Policy Gradient和Proximal Policy Optimization（PPO）。 3. 基于值函数和策略函数的算法：这类算法综合利用了值函数和策略函数，例如Actor-Critic算法。 4. 基于模型的算法：这类算法试图建立环境模型，然后利用该模型进行规划和决策，例如Model-Based Reinforcement Learning（MBRL）。 5. 分层强化学习算法：这类算法将强化学习任务分解为多个子任务，并且在每个子任务上进行学习和决策，例如Hierarchical Reinforcement Learning和Options Framework。 6. 逆强化学习算法：这类算法试图从专家的行为中推断出其背后的奖励函数，例如Inverse Reinforcement Learning。 7. 多智能体强化学习算法：这类算法考虑了多个智能体的相互作用和协作，例如Independent Q-Learning和Deep Deterministic Policy Gradient（DDPG）。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值