极简深度强化学习实现-DDPG-TD3-SAC
github地址
https://github.com/kaixindelele/DRL-tensorflow
有帮助的话,希望能给我github点个star,thank u~
这个项目已经放弃维护了!
最新的代码库:
DRLib:一个简洁的强化学习库,集成了HER和PER
based on
My DRL library with tensorflow1.14 core codes based on https://github.com/openai/spinningup
My job is wrap the algorithms functions into classes in order to easy to call. Maintain the performance in gym environments of the original codes.
实现目的和学习建议:
网上很多实现这些深度强化学习的算法框架,但是很多都是非常复杂的实现,偶尔有人复现了单一算法又难以确定正确性和拓展性,因此我在openai的spinning-up的基础上,抽出最核心的算法,并且封装成类,便于调用。
在看openai的spinning-up的时候,他们建议和我总结的规律,学习一个新的算法:
- 看懂算法简介
- 看懂伪代码;
- 带着问题看原版论文;
- 看完之后实现最精简的算法,并且跑最简单的gym环境,测试算法的有效性;
- 增加新的功能,拓展到复杂任务, 每次增加一个部件,做一次测试!
- 最终实现你的任务(工作量实在是太大了~)
至于这些算法怎么学,还是建议自己去看他们的文档,我目前总结出来的,感觉还差了一点火候。
等以后有时间了,或者我理解更透彻了,也许会对这些算法做一个中文的讲解。
下一步打算
抽时间将on-policy部分的TRPO和PPO看懂,实现。
大概需要两周时间吧