问题速记——项目PARL强化学习公开课Lesson5_DDPG

已于 2022-11-14 13:56:00 修改
阅读量276 收藏
点赞数 1
分类专栏： ai studio强化学习（PARL强化学习公开课） 文章标签： python 深度学习 线性代数 矩阵
于 2022-11-11 23:17:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/delsystem32/article/details/127814651
版权

目录

项目链接

问题

问题1 这个reward_scale缩放系数是什么东西？

在这里插入图片描述
答:
在env返回的reward的基础上乘以这个系数，
在模型中，为了计算target_Q会用到reward, 对损失的计算会有一定影响，感觉和学习率会有差不多的作用吧。

问题2 means是输出的列表还是一个平均数？

在这里插入图片描述
答：这直接就是DDPG输出的确定动作了吧。

问题4 为什么有了tau还要搞一个decay这样绕一下呢，decay是什么意思啊，小晕>_<

在这里插入图片描述

在这里插入图片描述

答：decay应该就是要废弃掉的更新参数，decay=0,就是一点都不舍弃，同步更新。

问题5 想自己建一个项目中的env，要学习什么？

答：自己搞一个env真地是会遇到很多问题和要注意的地方啊！！！有时候env的observation或者action设置太大之后，可能模型生成经验池的时候内存就直接爆炸了！内存是真的有限啊，感觉个人很难搞很大的数据集！

问题6 模型什么时候需要调参，怎么调参，要交叉验证什么的吗，感觉强化学习的训练时间都很长，调参是不是会很难？

不懂QAQ

问题7 怎么快速查看文档,文档链接？

项目链接

数学家面膜
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【八】强化学习之DDPG---PaddlePaddlle【PARL】框架｛飞桨｝
丨汀、的博客
03-22 1626
课程笔记【强化学习7日打卡营-7】
深度强化学习算法是否需要使用批归一化(Batch Norm) 或归一化，文本带你详解。
丨汀、的博客
07-15 1084
深度强化学习算法是否需要使用批归一化(Batch Norm) 或归一化，文本带你详解。
论文笔记之SAC提升算法
Ton的博客
07-20 6489
这篇论文是SAC原作者在SAC上进行改进之后的算法。改进后的SAC在训练速度、稳定性、表现力方面都得到了一定的提升。 论文地址，点这里 改进的方面主要是2部分： 引入自动调节的温度因子α\alphaα。 取消了原SAC中的VVV网络，只是用QQQ网络。 学习这篇论文的前提是要对原SAC有一定了解，以下默认对SAC有一定基础，需要的同学可参考我的另一篇论文解读：论文笔记之SAC。 Soft Actor-Critic Algorithms and ApplicationsAbstract1 Introduc
PADDLE⑤（终）DDPG算法与代码解析
x234230751的博客
04-22 737
Actor：定义策略网络。策略网络以提高Q网络输出的Q值为目标，他的损失函数可以定义为loss=-Q；Q网络仍然以优化Q预测与Q目标之间的举例为目标，损失函数与DQN一样。DDPG算法取DQN所长：经验池与双重网络（目标网络），加以添加策略网络以输出确定性动作。DDPG采用Actor-Critic结构，策略网络通过Q网络打分更新网络参数。至于经验池与目标网络的应用：一段时间复制参数过去，其中目标策略网络的参数。，Q网络则通过环境的reward更新网络参数w。algorithm：Q网络与Q目标网络。
强化学习调参技巧二：DDPG、TD3、SAC算法为例：
丨汀、的博客
07-08 6159
1.训练环境如何正确编写 强化学习里的 env.reset() env.step() 就是训练环境。其编写流程如下： 1.1 初始阶段： 先写一个简化版的训练环境。把任务难度降到最低，确保一定能正常训练。记录正常训练的智能体的分数，与随机动作、传统算法得到的分数做比较。 DRL算法的分数应该明显高于随机动作（随机执行动作）。DRL算法不应该低于传统算法的分数。如果没有传统算法，那么也需要自己写一个局部最优的算法 评估策略的性能: 大部分情况下，可以直接是对Reward Function 给出的reward
PARL 是一个高性能、灵活的强化学习框架
02-11
PARL 是一个高性能、灵活的强化学习框架。 可复现性保证。我们提供了高质量的主流强化学习算法实现，严格地复现了论文对应的指标。 大规模并行支持。框架最高可支持上万个CPU的同时并发计算，并且支持多GPU强化学习...
百度开源的深度强化学习框架PARL源代码
06-16
PARL 与现有强化学习工具和平台相比，具有更高的可扩展性、可复现性和可复用性，支持大规模并行和稀疏特征，能够快速 对工业级应用案例的验证。 这个在 github 上是开源的，但是鉴于有些朋友工具受限下载很慢，所以...
PARL - PaddlePaddle强化学习框架-python
06-18
PARL，全称为Parallel Reinforcement Learning，是基于百度飞桨（PaddlePaddle）深度学习平台的强化学习框架。这个框架的设计目标是为了简化强化学习（RL）算法的开发过程，提高算法的执行效率，并促进在大规模环境...
PARL 是一个高性能、灵活的强化学习系统
11-10
PARL 是一个高性能、灵活的强化学习框架系统。我们提供了高质量的主流强化学习算法实现，严格地复现了论文对应的指标。框架最高可支持上万个CPU的同时并发计算，并且支持多GPU强化学习模型的训练。用户无需自己重新...
基于强化学习DQN算法+训练AI模型来玩合成大西瓜游戏python源码+项目说明（Keras和PARL（paddle））.zip
04-10
基于强化学习DQN算法+训练AI模型来玩合成大西瓜游戏python源码+项目说明（提供Keras版本和PARL（paddle）版本）.zip ## 1. 打开游戏： 这里使用pygame重写了大西瓜游戏，并封装为适合RL环境的代码。 运行： ```...
RL调参侠之BipedalWalker BipedalWalkerHardcore SAC
weixin_48370148的博客
03-08 1611
前几天用PPO训练了个很一般的agent： RL调参侠之BipedalWalker PPO 我看SpinningUp上面说PPO和SAC是两个领域里各自的State_of_the_art的方法，所以就打算跑SAC试试看，之前因为Open AI Five的原因，一直感觉PPO很牛掰，实际上现在很多自动驾驶的算法也是用PPO在跑，毕竟有一个“必定能够提升期望”的理论保证在这里，我理解这对做项目很大的诱惑。 不过我跑出来的结果明显是SAC更好。 调参侠时间 策略熵的权重alpha用的0.2，我一开始没有看SAC的
FAIR田渊栋：从工程师到管理者，是让个人能力scale到团队中
啊啊啊啊2
09-11 218
本文转载自 Robin.ly 社区，Robin.ly 和 TalentSeer 的创始人 Alex Ren 采访了 FAIR田渊栋，田博士是知乎上的网红，他在网络上发表了很多文章讲述过去的研究经历。这次采访希望能了解他做研究的一些心路历程。采访视频地址：https://youtu.be/BZpOs8QMLCg下文是采访的文字整理。Alex：我个人比较关注田博士的职场生涯，先是做研究，现在做研究管...
动态规划_钢条切割问题
zhangzhi2ma的博客
09-11 350
动态规划的问题其实本质还是一种递归问题的优化，针对某一些递归问题，自上而下的求解会重复求解子问题的情况，（利用子问题图来发现这种情况），采用动态规划的方法解决这样的问题。 一方面，通过对子问题进行记录备份，需要的时候查找， 另一方面，采用自下而上的求解策略，对大规模的问题，首先求解每一个它要用到的小规模问题的解，然后记录，一路向上求解得到大规模问题。   钢条切割成小段以后，进行出售，不同...
深度强化学习系列: “奖励函数”的设计和设置（reward shaping）
热门推荐
深度强化学习(DeepRL)探索博客
06-25 6万+
概述 前面已经讲了好几篇关于强化学习的概述、算法(DPG-&amp;amp;amp;amp;amp;amp;amp;gt;DDPG),也包括对环境OpenAI gym的安装，baseline算法的运行和填坑，虽然讲了这么多，算法也能够正常运行还取得不错的效果，但是一直以来忽略了一个非常重要的话题，那就是强化学习的《奖励函数》的设置。 1、 Gym-Pendulum-v0例子分析奖励函数 为什么要讲强化学习的概述呢？也许在我们以前运行的算法中我们并...
OPENAI Baeslines 详解（一）开始使用
Dr.Zee的博客
08-30 5513
Zee带你看代码系列 学习强化学习，码代码的能力必须要出众，要快速入门强化学习 搞清楚其中真正的原理，读源码是一个最简单的最直接的方式。最近创建了一系列该类型文章，希望对大家有多帮助。 传送门 另外，我会将所有的文章及所做的一些简单项目，放在我的个人网页上。 水平有限，可能有理解不到位的地方，希望大家主动沟通交流。 邮箱：zachary2wave@163.com Thanks for readin...
[PARL强化学习]连续动作空间上求解RL——DDPG
chenqianhe2的博客
03-20 1393
[PARL强化学习]连续动作空间上求解RL——DDPG 一、连续动作 生过中有很多动作不可数的情况，即是连续动作 为了解决连续动作的问题，我们需要使用Policy网络，输出一个确定性的策略，例如一个具体的浮点数等。常见做法就是在网络的最后增加一个tanh层。 二、DDPG简介 DDPG全称是Deep Deterministic Policy Gradient，即深度确定性策略梯度。 从DDPG这个名字看，它是由D（Deep）+D（Deterministic ）+ PG(Policy Gradient)
从代码到论文理解并复现MADDPG算法(基于飞桨的强化学习套件PARL)
zbp_12138的博客
07-19 2万+
MADDPG算法是强化学习的进阶算法,在读对应论文Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments的过程中,往往会遇到很多不是很好理解的数学公式,这篇文章旨在帮助读者翻过数学这座大山,从PARL的代码理解MADDPG算法。 把MADDPG拆分成多个算法 什么是多智能体?有哪些环境? 从PARL的代码解读MADDPG 复现“老鹰捉小鸡”的游戏环境 回归论文 1. 把MADDPG拆分成多个算法MADDPG的全称是
强化学习算法 DDPG 进行四轴飞行器的速度控制
AItrust的博客
06-27 2950
本文基于百度深度学习库 PARL 完成 四轴飞行器的模拟器使用的是百度的 RLschool 文章目录一、DDPG 算法的收敛问题探讨：1. 传统方法：2. 新思路探讨：二、安装依赖三、具体代码及解析：3.1 库引入3.2 超参数设置3.3 智能体 Agent 模块3.4 神经网络 Model行动网络 ActorModel评价网络 CriticModel综合网络3.5 训练函数3.6 测试函数3.7 搭建环境和模型架构3.8 加载模型，训练，测试 一、DDPG 算法的收敛问题探讨： 1. 传统方法： 在传.
Python 中别再用 ‘+‘ 拼接字符串了！
最新发布
xyh2004的博客
06-30 1213
在 Python 中，字符串是不可变的数据类型，这意味着一旦字符串被创建，它就不能被修改。因此，当你尝试通过使用+来连接字符串时，实际上 Python 会创建新的字符串对象，并将旧字符串的内容复制到新字符串中，然后添加新内容。这个过程在处理大量数据或在循环中进行时，会导致性能问题。
parl的多智能体强化学习代码
12-14
2. 多智能体算法：parl实现了多种经典的多智能体强化学习算法，包括深度确定性策略梯度（DDPG）、多智能体深度确定性策略梯度（MADDPG）等。这些算法能够帮助多个智能体在不同环境下学习合适的策略，并实现有效的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值