（RL强化学习）Sparse Reward

最新推荐文章于 2022-05-21 17:56:15 发布
最新推荐文章于 2022-05-21 17:56:15 发布
阅读量327 收藏
点赞数
分类专栏： 强化学习 文章标签： 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/KNIGHT_HOY/article/details/123932466
版权

文章目录

Sparse Reward

  • 很多情况下环境中的reward是稀疏的 agent很难得到reward

Reward Shaping

  • 开发者刻意设计reward
  • example：比如小孩学习 如第二种情况要是study的reward永远是-1 那小孩只会选第一种action 所以可以人为加上一些reward引导小孩去往最高reward的方向走

在这里插入图片描述

Curiosity

  • ICM鼓励冒险 两个state差距越大 代表下一步更难预测 reward越大

在这里插入图片描述

  • 但是难以预测的不代表重要的 所以需要另一个network去筛除不重要的但难以预测的state

  • Network1 输入s1,a1,s2放入ICM 输出 另一种reward 加到total reward上面

  • Network2输入 s1 s2的feature 输出一个action预测 希望这个预测的action跟原来用于s1 到达 s2 的action越接近越好

在这里插入图片描述

Curriculum Learning

  • 给机器设计learn的顺序 由容易到难 规划课程

  • Example；比如一个机械臂把一个板子穿到一个棍子上 设计课程由把板子已经插在棍子上开始学 然后一步步把板子拿远让机器学

在这里插入图片描述

Reverse Curriculum Generation

  • sample goal state 之间的一系列origin state closed to goal state

  • 计算每个origin state的reward

在这里插入图片描述

  • 去除极端的reward 寻找reward适中的case

  • sample from origin state 然后从新sample的点继续出发 重复上述步骤

在这里插入图片描述

Hierarchical RL

  • 建立一个agent的阶层体系

  • 高层的agent只提出一些愿景 然后给下一级的agent 直到最下层的agent采取action

在这里插入图片描述

  • 每一个agent都会learn 所有agent的目标就是达到那个愿景

  • 如果下层的agent无法达到上层提出的愿景 上层agent就会得到penalty

  • 如果某一个agent达到了一个不太好的goal 那么最初的愿景就换成一个不太好的goal 然后结束
    在这里插入图片描述

Hoyyyaard
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深度强化学习 -- Sparse Reword介绍
01-30
大纲 Sparse Reward Reward Shaping Curiosity Intrinsic Curiosity Module Reward from Auxiliary Task Curriculum Learning Reverse Curriculum Generation Hierarchical Reinforcement Learning
人工智能-强化学习：Sparse Reward（稀疏回报）
u013250861的博客
01-06 3184
- 通常情况下，Agent 每一步操作有一个 reward 对应，但是，当 reward 的分布非常稀疏时，可能三四步甚至更多步之后才能产生reward。这样的话，对于机器而言学习如何行动会十分困难。 - 这个一开始的暂时的小的reward 就叫 Sparse Reward - 比如说要让一个机器人倒水进水杯里，如果不对机器人做任何指导，可能它做很多次尝试，reward都一直是零。（不知道杯子在哪，不知道拿着手上的水壶干嘛，不知道水壶靠近杯子之后应该怎么做） # 一、Reward shaping:Cur
《深度学习》学习笔记（十）
白炎灵的博客
04-27 1015
本篇博文主要介绍强化学习reforcement learning
机器学习-55-RL-07-Sparse Reward(强化学习-稀疏奖励:Reward Shaping,Curriculum Learning,Hierarchical RL)
迷雾总会解
01-25 1633
实际上用 reinforcement learning learn agent 的时候，多数的时候 agent 都是没有办法得到 reward 的。在没有办法得到 reward 的情况下，训练 agent 是非常困难的。我们可以通过三个方向来解决 sparse reward 的问题：Reward Shaping,Curriculum Learning,Hierarchical Rl。
【RL从入门到放弃】【二十一常见模型分析】
勿于浮沙筑高台
04-25 1195
在RL里面重要且比较容易被忽视的一环是ENv，为什么重要，因为env是对实际情况的理解，尤其是输入特征和reward的定义直接影响最终的结果。而网上的很多关于RL的知识点，都主要在涉及agent上，所以对这个基础的东西是忽略掉了的。 迷宫游戏 游戏规则：探索者从红色的初始位置以最少的step到达天堂 Env提供的数据 Initial：在红色位置为初始化位置 States: 当前...
第四十四节 RL：Sparse Reward
Reast1nPeace的博客
09-21 216
深度强化学习理论及其应用综述.pdf
08-19
2. 奖励稀疏（Sparse Reward）：智能体可能需要等待很长时间才能收到奖励，这使得学习过程变得困难。 3. 样本采集困难（Sample Collection Hardness）：智能体需要从环境中收集足够的样本来学习和改进决策过程。 4. ...
基于强化学习与深度强化学习的游戏AI训练.zip
最新发布
05-10
深度学习（DL，Deep Learning）是机器学习（ML，Machine Learning）领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能（AI，Artificial Intelligence）。 [1] 深度学习是学习样本数据的...
Sparse_subspace_clustering算法代码
01-08
这些变种通常结合了其他机器学习技术，如深度学习或半监督学习，以适应更复杂的任务和环境。 总结来说，Sparse Subspace Clustering是一种强大的聚类算法，尤其适合处理高维稀疏数据。通过寻找数据点的稀疏表示和...
Sparse subspace clustering算法代码
04-26
稀疏子空间聚类（Sparse Subspace Clustering, SSC）是一种在高维数据集上进行聚类的有效方法，尤其适用于图像、视频和基因表达数据等大规模数据。它假设数据点分布在多个低维子空间中，并利用数据的稀疏表示来发现...
什么是Sparse Reward
不一样的烟火
07-18 1492
agent学习的过程中，常常无法及时获得回报。就像家长让小朋友写作业，小朋友可能觉得这个是负面的反馈而不去写作业（做作业让我觉得很痛苦qwq），而没有意识到以后会获得的巨大回报：写完作业后成绩提高，考上好大学，成为高富帅，从此走向巅峰赢取白富美... 这个一开始的暂时的小的reward 就叫 Sparse Reward 如何让agent在Sparse Reward 中拥有更好的学习表现？ ...
【RL】7.Reward Issue
BevnWu的CSDN小站
11-05 249
RL-Ch7-Reward Issue 因为采样的不充分性和种种原因(环境v很少给reward)，我们得到环境的回馈信息是很少的，这就是奖励稀疏(sparse reward)的问题。 Reward Shaping 所以第一种方法是我们可以人为构造/修正奖励。 某些情形如果让环境直接给出奖励，难以让好的行为得到学习。例如小学生在出去玩和学习这一当前时间步的选择，很难考虑到未来的月考成绩好坏这一远景的奖励。所以需要人为的重新构造一下奖励，例如加个棒棒糖鼓励学习等。 某些情形环境极少给出奖励。例如在枪战游戏中，
强化学习(RL)
机器学习知识点整理
05-10 3626
强化学习是机器学习中的一个领域，强调如何基于环境而行动，以取得最大化的预期利益。其灵感来源于心理学中的行为主义理论，即有机体如何在环境给予的奖励或惩罚的刺激下，逐步形成对刺激的预期，产生能获得最大利益的习惯性行为。——wiki强化学习在许多学科都有应用，除了AI外，还包括自动化的控制理论，数学中的运筹学和认知科学。在机器学习中，通常可以分为有监督学习（分类，回归），无监督学习（聚类，降维）和强化学...
强化学习ROS实战-RLagent解析（上）
AliceArtwork
06-05 6915
refornenced learing理论的东西看着总是让人云里雾里没有实感，别担心，看看代码就懂了。 让我们来看一下ROS里面是如何实现强化学习算法的1.基础准备首先，让我们来了解下ROS-RL-agent的基本结构及其定义。1.1.ROS-RL-agentROS 的RL引擎提供了一系列强化学习的引擎和环境。 代码可以在https://github.com/toddhester/rl-texp
强化学习5
weixin_42479155的博客
11-05 756
Sparse Reward and Imitation Learning 1 关键词 reward shaping： 在我们的agent与environment进行交互时，我们人为的设计一些reward，从而“指挥”agent，告诉其采取哪一个action是最优的，而这个reward并不是environment对应的reward，这样可以提高我们estimate Q-function时的准确性。 ICM（intrinsic curiosity module）： 其代表着curiosity drive
强化学习 reward 曲线的绘制
thompson的博客
05-21 7808
每隔一段取一个均值，然后把均值曲线绘制出来，包含全部点的曲线淡化处理 摘自 Z. Mou, Y. Zhang, F. Gao, H. Wang, T. Zhang and Z. Han, “Deep Reinforcement Learning based Three-Dimensional Area Coverage with UAV Swarm,” in IEEE Journal on Selected Areas in Communications, doi: 10.1109/JSAC.2021.3.
深度强化学习系列: “奖励函数”的设计和设置（reward shaping）
热门推荐
深度强化学习(DeepRL)探索博客
06-25 6万+
概述 前面已经讲了好几篇关于强化学习的概述、算法(DPG->DDPG),也包括对环境OpenAI gym的安装，baseline算法的运行和填坑，虽然讲了这么多，算法也能够正常运行还取得不错的效果，但是一直以来忽略了一个非常重要的话题，那就是强化学习的《奖励函数》的设置。 1、 Gym-Pendulum-v0例子分析奖励函数 为什么要讲强化学习的概述呢？也许在我们以前运行的算法中我们并...
强化学习（RL）原理以及数学模型
多元思考力
01-18 2万+
强化学习简介 1强化学习与机器学习的关系 2强化学习的一些小案例 强化学习的原理 强化学习的数学原理 1建模的思路 2 马尔可夫过程 3 马尔可夫决策过程MDP 1.强化学习简介 1.1强化学习与机器学习的关系 强化学习是机器学习的一个分支，强调如何基于环境行动，以取得最大化的预期利益，其灵感来源于心理学中的行为主义理论，即有机体如何在环境的奖励或惩罚刺激下，逐步形成对刺
基于强化学习的NAS
12-24
基于强化学习的NAS（Neural Architecture Search）是一种自动化设计神经网络结构的方法。它通过使用强化学习算法来搜索最佳的网络结构，以最大化某个性能指标（如准确率或速度）。下面是一个基于强化学习的NAS的示例...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值