tree源码_【强化学习6】强化学习源码与博客

最新推荐文章于 2024-06-11 10:23:11 发布
最新推荐文章于 2024-06-11 10:23:11 发布
阅读量182 收藏
点赞数
文章标签： tree源码

本人基于tensorflow2实现的代码

【1】policy gradient

https://github.com/lgc-robotics/reinforcement_learning/tree/master/policy%20gradient​github.com

下图是CartPole-v1的训练结果：

eb8c762902a7be3e6d6cf05879528d66.png

【2】Actor-critic

https://github.com/lgc-robotics/reinforcement_learning/tree/master/actor%20critic​github.com
  • 如果回合长度不长，如CartPole-v0的最大回合长度仅为200，那么可以用bootstrapping方法估计value函数(见“【CS285第6讲】Actor-critic”公式9)。详情可见online-actor-critic.py。
  • 如果回合长度太长，如CartPole-v1的最大回合长度为500，建议使用一条轨迹来估计value函数(见“【CS285第6讲】Actor-critic”公式7)，不建议使用bootstrapping，因为bootstrapping的偏差会很大。详情可见batch-actor-critic.py。下图是CartPole-v1的训练结果：

fbc665f55e7707277337c85ff417c5c7.png

【3】A3C

lgc-robotics/reinforcement_learning​github.com
245be89690b320b0ed427f5db89751e7.png

这是A3C在CartPole-v1上的训练结果：

ded1b5df4fcc8f481136fc1548623358.png

下图是A3C在Pendulum上的训练结果：

83dc84c8d572bcd74d48e157b48db98f.png

【4】PPO

lgc-robotics/reinforcement_learning​github.com
245be89690b320b0ed427f5db89751e7.png

下图是PPO在Pendulum上的训练结果。别看PPO收录速度快于A3C，我花在PPO代码调试上的时间远远多于A3C，因为PPO对参数初值太敏感了。

83baaec7fa5b584508795daa22543555.png

【5】DDPG

lgc-robotics/reinforcement_learning​github.com

下图是DDPG在Pendulum上的训练结果：

7d3019c6c2db6c6bbe7fa2b8879e06aa.png

下图是DDPG在BipedalWalker-v3上的训练结果（效果不好）：

ec644dd6a8be6bd2e13989f729a56ec9.png

【6】TD3

https://github.com/lgc-robotics/reinforcement_learning/tree/master/TD3​github.com

下图是TD3在Pendulum上的训练结果：

ec0690815eb0f667b2260b90fa3e5398.png

下图是TD3在BipedalWalker-v3上的训练结果：

80affff7368d1dd2ec8b9dd03ce4c267.png

TD3论文作者提供的源码：sfujim/TD3

【7】SAC

【8】DPPO

常见强化学习框架

【1】tensorlayer实现的代码，基于tensorflow 2.0

https://github.com/tensorlayer/tensorlayer/tree/master/examples/reinforcement_learning​github.com

【2】Kei Ohta开源的，基于tensorflow 2.0

https://github.com/keiohta/tf2rl​github.com

【3】openAI baselines,基于tensorflow 1.14

https://github.com/openai/baselines​github.com

【4】openAI spinup, 基于tensorflow

openai/spinningup​github.com
a96683f15593915a7c1276a861f8229b.png

【5】Intel开源的，

NervanaSystems/coach​github.com
8b278248d7d017502f0b46c55df6199b.png

【6】基于pytorch，Berkeley，很不错

https://github.com/vitchyr/rlkit​github.comvitchyr/rlkit https://github.com/vitchyr/rlkit​github.com

博客

【1】Berkeley

The Berkeley Artificial Intelligence Research Blog​bair.berkeley.edu
e1ff02eecb1cb34deedbd32f080a0bac.png

【2】OpenAI

OpenAI Blog​openai.com

强化学习仿真环境pybullet

Documentation: https://github.com/bulletphysics/bullet3/tree/master/docs

API: Bullet Documentation

weixin_39616961
关注
distributed-ppo:这是分布式近端策略优化（DPPO）的pytorch实现
04-27
分布式近端策略优化（DPPO） 这是的pytorch版本实现。 该项目基于。 但是，它已经被重写并包含一些修改，这些修改在某些环境下可能会改善学习。 在这段代码中，我修改了运行均值过滤器，从而提高了性能（例如，在Walker2D中）。 我还重写了代码以分别支持Actor Network和Critic Network 。 然后，此更改允许为某些任务创建对象，而在训练时可用的信息在运行时不可用。 此外，该项目中的操作是从Beta分布中采样的，可以在许多任务中提高培训速度和性能。 要求 python 3.5.2 Openai体育馆 mujoco-python pytorch-0.3.1（将在8月更新到0.4.1版本！ ） 指令运行代码 训练模型 cd /root-of-this-code/ python train_network.py 您也可以尝试其他mujoco的环境。 该代码已经预
在强化学习领域最受欢迎的A3C算法，DDPG算法，PPO算法等都是AC框架
热门推荐
caoyongsheng的博客
07-14 2万+
AC算法框架被广泛应用于实际强化学习算法中，该框架集成了值函数估计算法和策略搜索算法，是解决实际问题时最常考虑的框架。大家众所周知的alphago便用了AC框架。而且在强化学习领域最受欢迎的A3C算法，DDPG算法，PPO算法等都是AC框架。我们这一讲便总结下AC算法的发展并介绍目前最受关注的A3C算法和PPO算法。本讲的内容包括：1.1 策略梯度的直观解释1.2 Actor-Critic框架引出...
DDPG使Bipedal Walker学会走路
qq_41816368的博客
07-06 1110
tensorflow ddpg 训练bipedal walker走路
强化学习原理与应用作业二
qq_43015237的博客
05-12 825
DQN、REINFORCE、DDPG、TD3
【学习笔记7】阅读ddpo代码
最新发布
weixin_47894469的博客
06-11 554
是一个内置异常类，用于表示一个方法或函数应该被实现，但实际上并没有被实现。它通常用于抽象基类（ABC）中，作为占位符，提醒子类必须覆盖这个方法。使用自动混合精度训练（auto Mixed Precision，AMP）可以大幅度降低训练的成本并提高训练的速度。globals – 变量作用域，全局命名空间，如果被提供，则必须是一个字典对象。用于跟踪每个提示的统计信息的类。locals – 变量作用域，局部命名空间，如果被提供，可以是任何映射对象。在计算平均值和标准值之前，要保留在缓冲区中的最小样本数。
AI-Toolbox 用于强化学习的 C++ 库和规划.pdf
04-14
### AI-Toolbox：一个用于强化学习与规划的C++库 #### 概述 AI-Toolbox是一款专为强化学习（Reinforcement Learning, RL）及规划算法设计的C++开源软件库，同时支持Python绑定。该库由Eugenio Bargiacchi、...
Machine Learning in Action源码
02-27
《机器学习实战》是Peter Harrington撰写的一本经典书籍，旨在通过实际的代码示例介绍机器学习的基本概念和算法...最后，不要忘记持续关注机器学习领域的最新发展，如深度学习、强化学习等前沿技术，以便保持与时俱进。
katago论文_深度学习_katago绝艺_beneath2n8_KataGo论文_katago算法_源码.zip
10-18
2. 自我对弈强化学习：KataGo采用自我对弈强化学习（Self-Play Reinforcement Learning）策略，通过不断自我对弈来提升棋力。在这个过程中，神经网络预测下一步走法，同时评估当前局面的胜率，形成一个反馈循环。 ...
vue3.0源码.zip
08-25
6. **TypeScript 支持**：Vue 3.0 强化了对TypeScript的支持，提供了类型定义，使得开发过程中可以享受到静态类型检查的好处，提升代码质量。 7. **Fragment 和 Portal**：Vue 3.0 允许组件返回多个根节点...
STL 源码剖析(侯捷先生译著)
09-09
这本书也不适合带领你学习面向对象（Object Oriented）技术 — 是的，STL 与面向对象没有太多关连。本书前言清楚说明了书籍的定位和合适的读者，以及各类基础读物。如果你的Generic Programming/STL实力足以阅读本书...
Soft Actor-Critic（SAC）算法tensorflow实现
08-09
Soft Actor-Critic（SAC）算法tensorflow实现，SAC是深度强化学习中对于连续动作控制的又一经典。
sac:使用TensorFlow进行软Actor-Critic实现
05-14
SAC 使用Tensorflow的Soft Actor-Critic实现。 要求 Python3 依存关系 张量流 健身房[atari] 的OpenCVPython的 git + 用法 训练 $ python train.py [--render] 玩 $ python train.py [--render] [--load {path of models}] --demo 执行 这受到以下项目的启发。
探索强化学习的新境界：Pytorch-DPPO深度解析与应用
gitblog_00003的博客
06-03 539
探索强化学习的新境界：Pytorch-DPPO深度解析与应用 Pytorch-DPPOPytorch implementation of Distributed Proximal Policy Optimization: https://arxiv.org/abs/1707.02286项目地址:https://gitcode.com/gh_mirrors/py/Pytorch-DPPO 项目介绍...
强化学习_A3C算法实现Pendulum-v1
m0_68462260的博客
09-26 1060
正如我们之前说到，这个“力” 并不是开关，是有大小之别，因此，这是一个连续型控制的问题。我们的任务就调整输入的“力”的大小，让杆子一直树立起来。全局网络 并不直接参加和环境的互动，工人与环境 有直接的互动，并把学习到的东西，汇报给全局网络。互动后，再把梯度提交，获取新的参数…图中的杆围绕A 点转动，我们的任务是，让智能体学会给杆子施加一定的“力”，让杆子立起来。需要强调的是，worker 向全局网络汇总的是梯度，而不是自己探索出来的数据。这里的“力” 用了带箭头的圆环表示，圆环越大，表示用的“力”越大。
强化学习汇总 - Mofan教程
qq_38293297的博客
08-28 1596
文章目录1. 什么是强化学习RL算法2. 强化学习方法汇总model-free 和 model-based基于概率 和 基于价值回合更新 和 单步更新在线学习 和 离线学习3. Q-learningQLearning 决策QLearning 更新Q Learning 整体算法Q Learning 中的 Gamma小例子Q-learning 算法更新 与 Q-learning 思维决策 代码部分4. Sarsa [state-action-reward-state-action]Sarsa 更新行为准则
【ReinforcementLearning】二、强化学习初探——以gym库中的CartPole环境为例
qq_53457019的博客
08-06 982
以强化学习的gym官方库中的CartPole环境为例，介绍强化学习中的相关概及智能体与环境分离编程的实现。
[停更] 莫烦python强化学习中的【伪代码】和【代码】汇总 [停更]
方小汪的博客
10-21 2942
莫烦python强化学习中的算法【伪代码】汇总前言1、Q_Learning2、Sarsa3、sarsa_lambda4、DQN5、Double DQN6、暂无Dueling DQN7、Prioritized DQN8、Policy Gradients9、暂无Actor_Critic10、DDPG11、A3C12、OpenAI PPO13、DeepMind PPO 前言 将莫烦python强化学习中...
强化学习的并行加速
世事难料，保持低调
02-28 1万+
前言 机器学习方法的复现性一直都是比较另人头痛的问题，因为很多因素都可能会影响最后的效果。而强化学习还涉及与环境交互带来的随机性，情况更加严重。可能类似的环境配置，跑上几遍结果还不太一样。2017年McGill University和Microsoft的论文《Deep Reinforcement Learning that Matters》中研究了强化学习的可复现性，指出像随机种子、环境因素、超参以及使用的codebase带来的不确定性都会导致结果难以重现。这在一定程度上就提高了实验成本。另一方面，除非是一
进阶篇---PPO代码逐行分析
qq_37395293的博客
03-01 8409
进阶篇—PPO代码逐行分析 一、TRPO、PPO、DPPO PG （Policy gradient） 最常用的策略梯度估计其表达形式如下 TRPO（Trust Region Policy Optimization） 这是一种具有单调递增性质的PG算法，构造了一个带有约束的目标函数 在对目标进行线性近似并对约束进行二次近似后，可以使用共轭梯度算法有效地解决该问题。。 PPO（Proximal Policy Optimization） DPPO（Distributed Proximal Policy Opt
黑白棋强化学习项目：源码与教程完全包
在实际应用中，对于黑白棋项目，可能还会有进一步的优化和调整，例如使用蒙特卡洛树搜索(Monte Carlo Tree Search, MCTS)与强化学习算法结合，以提升智能体在游戏中的表现。这要求开发者不仅要有扎实的算法知识，还...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值