Spinning UP
文章平均质量分 84
spinning up代码和算法详解,以及功能添加,逐步构建我的强化库DRLib
hehedadaq
强化、图像、机器人相关内容...
强化库:https://github.com/kaixindelele/DRLib
求star~
展开
-
mujoco开源后第一天你关心的事儿
mujoco开源后第一天你关心的事儿仿真部分的源代码:https://github.com/deepmind/mujoco/blob/main/sample/simulate.cc上面源代码主文件和文档的对应关系可以看:https://mujoco.readthedocs.io/en/latest/programming.html更新版本的文档:https://mujoco.readthedocs.io/en/latest/overview.html 对很多问题有更详细的介绍,适合深入开发的人员观看原创 2021-10-19 11:01:33 · 597 阅读 · 0 评论 -
在Fetch-task中HER不同奖励函数设置对成功率的影响探究实验
在Fetch-task中HER不同奖励函数设置对成功率的影响探究实验文章目录在Fetch-task中HER不同奖励函数设置对成功率的影响探究实验前言:episode-reward-图:pick-and-place:push:三维性能统计图:pick-and-place:push:简单的结论:联系方式:前言:因为我一直在做稀疏奖励相关的探索,所以对HER的稀疏奖励函数设置,充满了好奇,特别想知道,他的奖励函数非得设置成{-1, 0}吗?即任务没有完成的所有step奖励为-1,任务完成给奖励0.设置成其原创 2021-04-22 22:19:31 · 517 阅读 · 1 评论 -
matplotlib均值和方差图-多组成功率为例-代码
matplotlib多组均值和方差图-成功率为例文章目录matplotlib多组均值和方差图-成功率为例前言:实际效果:前言:虽然主流的强化很少有成功率的柱状图表示,但是在机械臂任务中,还是有不少成功率的展示,因此将这个脚本优化精简分享出来了。供大家参考一下~实际效果:代码:""""@Author : kaixindelele,"@Contact : CSDN: https://blog.csdn.net/hehedadaq;知乎: https://www.zhihu.c原创 2021-02-21 00:56:57 · 2528 阅读 · 0 评论 -
【spinning up】2.2 功能超全的强化学习画图脚本
功能超全的强化学习画图脚本相比于原始的Spinning up 的plot.py文件,增加了如下的功能:原始图:线条多一点,就根本分不清谁是谁了。因此加了很多功能:可以直接在pycharm或者vscode执行,也可以用命令行传参;按exp_name排序,而不是按时间排序;固定好每个exp_name的颜色;可以调节曲线的线宽,便于观察;保存图片到本地,便于远程ssh画图~自动显示全屏图片自适应针对颜色不敏感的人群,可以在每条legend上注明性能值,和性能序号seaborn版本原创 2021-04-06 16:30:45 · 1565 阅读 · 5 评论 -
【Spinning Up】5.1.一文弄懂序列化模块json、pickle和cloudpickle
【Spinning Up】pickle和cloudpickle模块描述文章目录【Spinning Up】pickle和cloudpickle模块描述前言:简介:前言:最近在花大量的时间去解析spinning up的多进程并行模块,由于我没有相关的基础,官方的文档在这块也是略过。甚至连第三方博客都非常少,让我极为头疼。因此只能花苦功夫,把它的并行模块,每一句都弄明白…前段时间看了mpi4py, subprocess, 修饰器,lambda,等花里胡哨的操作。今天轮到pickle了。简介:pi原创 2021-03-10 21:42:25 · 1860 阅读 · 5 评论 -
【Spinning up】零、DRLib:一个简洁的强化学习库,集成了HER和PER
DRLib:一个简洁的强化学习库,集成了HER和PERMy DRL library with tensorflow1.14 and pytorch, add HER and PER, core codes based on https://github.com/openai/spinningup前言:求star,欢迎开issues!主要的框架,基于spinningup。目前分享出来的有,tf1和torch版本的主流offpolicy强化算法,DDPG,SAC,TD3,对每个算法都增加了非常简洁的*原创 2021-02-23 23:29:22 · 1773 阅读 · 0 评论 -
【Spinning up】2.1、将Matplotlib自动全屏显示和保存图像(Saving Matplotlib graphs to image as full screen)
将Matplotlib自动全屏显示和保存图像(Saving Matplotlib graphs to image as full screen)前言:每次matplotlib画图都是一个小图,然后手动调整为全屏,再手动调整图片的位置,简直恶心透了。今天趁机将自动全屏的问题解决了。参考链接:将Matplotlib图形保存为全屏图像(Saving Matplotlib graphs to image as full screen)解决方案The method you use to maximis原创 2021-04-06 14:40:34 · 5921 阅读 · 3 评论 -
【Spinning Up】五、parse_args(argsparse):python和命令行之间的交互
【Spinning Up】parse_args(argsparse):python和命令行之间的交互文章目录【Spinning Up】parse_args(argsparse):python和命令行之间的交互前言:例子:联系方式前言:spinning up的代码看起来实在是太痛苦了。花里胡哨的操作debug简直要人命。基础的Python知识,面对高段位的功能,无从下手。没人请教,只好一个一个知识点的搜索,去弄懂它的每一个信息流。在entry_point.py这个文件中,有一个操作是,获取编码过原创 2021-03-09 21:41:07 · 430 阅读 · 0 评论 -
【Spinning Up】四、极简版并行网格搜索的脚本
【Spinning Up】python同时启动多个不同参数脚本文章目录【Spinning Up】python同时启动多个不同参数脚本前言:mpi_fork()函数详解:tune_mpi_funcs极简例程:tune_func.py: 待执行函数run_entrypoint.py 入口函数tune_exps.py 调用主函数:打印结果:联系方式:前言:上篇文章说到,利用spinup的run_entrypoint.py可以实现依次批量调参,但这个仍然不能利用好,我们电脑上的其他CPU核心,每次只能等一个参原创 2021-03-15 15:20:11 · 1046 阅读 · 2 评论 -
【Spinning Up】六、spinup的run_utils,实现批量调参,极简模式
【Spinning Up】spinup的run_utils,实现批量调参,极简模式文章目录【Spinning Up】spinup的run_utils,实现批量调参,极简模式前言:tune_funcs极简例程:联系方式:前言:关于这个批量调参的功能,spinup的官方文档就简单几句话:Spinning Up ships with a tool called ExperimentGrid for making hyperparameter ablations easier. This is based原创 2021-03-12 10:50:37 · 823 阅读 · 0 评论 -
【Spinning Up】2. 实验输出
目录1. 算法输出2. 保存目录(save directory)位置3. 载入并运行训练的策略4.调用价值函数5. 联系方式转载链接:https://blog.csdn.net/wudixi/article/details/104447010备注:在Spinning Up当前的实现中,没有方法重新开始训练未完成训练的智能体(partially-trained agents)。我自己实现了一半的功能,将buffer存到本地,将policy net参数存到本地,勉强算可以.转载 2021-02-24 22:33:27 · 1166 阅读 · 0 评论 -
【Spinning Up】三、绘制结果
【Spinning Up】绘制结果文章目录【Spinning Up】绘制结果路径参数示意图:可选参数解析:联系方式转载链接:https://blog.csdn.net/WUDIxi/article/details/104448418Spinning Up自带了一个plotting模块,用来绘制输出,调用格式如下:python -m spinup.run plot [path/to/output_directory ...] [--legend [LEGEND ...]] [--xaxis转载 2021-02-24 22:10:17 · 1327 阅读 · 0 评论 -
【spinning up】代码详解目录
【spinning up】代码详解目录文章目录【spinning up】代码详解目录前言:1.【Spinning Up】实验输出2.【Spinning Up】绘制结果3. Spinning Up】一文弄懂序列化模块json、pickle和cloudpickle4.【Spinning Up】parse_args(argsparse):python和命令行之间的交互5.【付费】spinup的run_utils,实现批量调参,极简模式6.【付费】python同时启动多个不同参数脚本联系方式:前言:前段时间将原创 2021-03-18 12:10:25 · 1088 阅读 · 0 评论