17种深度强化学习算法用Pytorch实现

最新推荐文章于 2024-05-06 01:15:39 发布
最新推荐文章于 2024-05-06 01:15:39 发布
阅读量525 收藏 9
点赞数

640?wx_fmt=1

640?wx_fmt=jpeg

来源：github

编辑：肖琴

本文经授权转自公众号    新智元

【新智元导读】深度强化学习已经在许多领域取得了瞩目的成就，并且仍是各大领域受热捧的方向之一。本文推荐一个用PyTorch实现了17种深度强化学习算法的教程和代码库，帮助大家在实践中理解深度RL算法。

深度强化学习已经在许多领域取得了瞩目的成就，并且仍是各大领域受热捧的方向之一。本文推荐一个包含了 17 种深度强化学习算法实现的 PyTorch 代码库。
640?wx_fmt=png

已实现的算法包括：

  1. Deep Q Learning (DQN) (Mnih et al. 2013)

  2. DQN with Fixed Q Targets (Mnih et al. 2013)

  3. Double DQN (DDQN) (Hado van Hasselt et al. 2015)

  4. DDQN with Prioritised Experience Replay (Schaul et al. 2016)

  5. Dueling DDQN (Wang et al. 2016)

  6. REINFORCE (Williams et al. 1992)

  7. Deep Deterministic Policy Gradients (DDPG) (Lillicrap et al. 2016 )

  8. Twin Delayed Deep Deterministic Policy Gradients (TD3) (Fujimoto et al. 2018)

  9. Soft Actor-Critic (SAC & SAC-Discrete) (Haarnoja et al. 2018)

  10. Asynchronous Advantage Actor Critic (A3C) (Mnih et al. 2016)

  11. Syncrhonous Advantage Actor Critic (A2C)

  12. Proximal Policy Optimisation (PPO) (Schulman et al. 2017)

  13. DQN with Hindsight Experience Replay (DQN-HER) (Andrychowicz et al. 2018)

  14. DDPG with Hindsight Experience Replay (DDPG-HER) (Andrychowicz et al. 2018 )

  15. Hierarchical-DQN (h-DQN) (Kulkarni et al. 2016)

  16. Stochastic NNs for Hierarchical Reinforcement Learning (SNN-HRL) (Florensa et al. 2017)

  17. Diversity Is All You Need (DIAYN) (Eyensbach et al. 2018)

所有的实现都能够快速解决 Cart Pole (离散动作)、 Mountain Car (连续动作)、Bit Flipping (动态目标的离散动作) 或 Fetch Reach (动态目标的连续动作) 等任务。本 repo 还会添加更多的分层 RL 算法。

已实现的环境：

  1. Bit Flipping 游戏 (Andrychowicz et al. 2018)

  2. Four Rooms 游戏 (Sutton et al. 1998)

  3. Long Corridor 游戏 (Kulkarni et al. 2016)

  4. Ant-{Maze, Push, Fall} (Nachum et al. 2018)

结果

1. Cart Pole 和 Mountain Car

下面展示了各种 RL 算法成功学习离散动作游戏 Cart Pole 或连续动作游戏 Mountain Car 的结果。使用 3 个随机种子运行算法的平均结果如下图所示，阴影区域表示正负 1 标准差。使用的超参数可以在  results/cart_pol .py  和 results/Mountain_Car.py  文件中找到。

640?wx_fmt=png

2. 事后经验重演 (HER) 实验

下面展示了 DQN 和 DDPG 在 Bit Flipping (14 bits) 和 Fetch Reach 环境中的表现，这些环境在论文 Hindsight Experience Replay 和 Multi-Goal Reinforcement Learning 中有详细描述。这些结果复现了论文中发现的结果，并展示了添加 HER 可以如何让一个 agent 解决它原本无法解决的问题。请注意，在每对 agents 中都使用了相同的超参数，因此它们之间的唯一区别是是否使用了 hindsight。

640?wx_fmt=png

3. 分层强化学习实验

下图左边的结果显示了在 Long Corridor 环境中 DQN 和 Kulkarni 等人在 2016 年提出的 hierarchy -DQN 算法的性能。该环境要求 agent 在返回之前走到走廊的尽头，以便获得更大的奖励。这种延迟满足和状态的混叠使得它在某种程度上是 DQN 不可能学习的游戏，但是如果我们引入一个元控制器 (如 h-DQN) 来指导低层控制器如何行动，就能够取得更大的进展。这与论文中发现的结果一致。

下图右边的结果显示了 Florensa 等人 2017 年提出的 DDQN 算法和用于分层强化学习的随机神经网络 (SNN-HRL) 的性能。使用 DDQN 作为比较，因为 SSN-HRL 的实现使用了其中的 2 种 DDQN 算法。

640?wx_fmt=png

用法

存储库的高级结构是： 
├── agents                    	
    ├── actor_critic_agents   	
    ├── DQN_agents         	
    ├── policy_gradient_agents	
    └── stochastic_policy_search_agents 	
├── environments   	
├── results             	
    └── data_and_graphs        	
├── tests	
├── utilities             	
    └── data structures

i) 观看智能体学习上述游戏

观看所有不同的智能体学习 Cart Pole，请遵循以下步骤： 

git clone https://github.com/p-christ/Deep_RL_Implementations.git	
cd Deep_RL_Implementations	

	
conda create --name myenvname	
y	
conda activate myenvname	

	
pip3 install -r requirements.txt	

	
python Results/Cart_Pole.py
对于其他游戏，将最后一行更改为结果文件夹中的其他文件就行。

ii) 训练智能体实现另一种游戏

Open AI gym 上的环境都是有效的，你所需要做的就是更改  config.environment 字段。

如果你创建了一个继承自 gym.Env 的单独类，那么还可以使用自己的自定义游戏。请参阅  Environments/Four_Rooms_Environment.py  自定义环境的示例，然后查看脚本  Results/Four_Rooms.py  了解如何让 agents 运行环境。
GitHub地址：
https://github.com/p-christ/Deep-Reinforcement-Learning-Algorithms-with-PyTorch

640?wx_fmt=gif

640?wx_fmt=jpeg

CDA 课程咨询丨史老师

联系电话：18080942131
640?wx_fmt=jpeg
扫描二维码

weixin_38754337
关注
  • 0
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
PyTorch深度学习实战（45）——强化学习
盼小辉丶的博客
07-10 1422
强化学习是当前人工智能领域的研究热点问题，强化学习主要通过考察智能体与环境的相互作用，得到策略模型、优化策略并最大化累积回报的过程。强化学习具有巨大的研究价值和应用潜力，是实现通用人工智能的关键技术。本文首先介绍强化学习的基本原理，包括马尔可夫决策过程、价值函数、探索-利用问题等，然后介绍经典的强化学习算法，最后使用 PyTorch 实现在游戏中模拟强化学习算法。
交互：深度强化学习算法的实现
03-03
相互作用 Interact包含几种深度强化学习算法的实现。 安装 可以按以下方式安装Interact： git clone https://github.com/rystrauss/interact cd interact pip install . 如果要使用Gym默认未安装的Gym环境，则需要自己安装（例如pip install gym[atari] ）。 用法 训练 可以使用以下命令来训练代理： python -m interact.train --config <path> 该软件包使用配置实验，并且--config选项应该是Gin配置文件的路径。 特定于算法的参数可以在每个代理的文档中找到。 在目录中可以找到一些示例配置文件。 可视化代理 训练完代理后，可以使用以下命令在其环境中对其进行可视化： python -m interact.pla
强化学习算法
weixin_49346755的博客
04-22 3066
强化学习问题的目标是依据策略执行一系列合适的动作以最大化累计回报。强化学习的算法主要分成三类：基于值函数的方法、基于策略的方法和演员-评论家方法。也就是说，可以通过逼近值函数再利用ϵ−greedy\epsilon-greedyϵ−greedy策略间接的确定策略，也可以建立策略函数，将策略参数化，还可以结合这两类方法既学习值函数，又学习策略。 ...
深度强化学习DQN算法源码【Pytorch实现·超详细注释】
08-28
基于Pytorch实现的深度强化学习DQN算法源代码，具有超详细的注释，已经在诸多项目中得到了实际应用。主要包含2个文件：（1）dqn.py，实现DQN只能体的结构、经验重放池、Q神经网络、学习方法等；（2）runner.py，使用...
pytorch实现的离线强化学习7种常见算法代码
03-11
PyTorch 是一个流行的深度学习框架，它提供了灵活的计算图和易于使用的API，使得实现复杂的深度强化学习算法变得相对简单。本资源集中了七种基于PyTorch实现的离线强化学习算法，分别是：行为克隆（Behavior Cloning...
基于pytorch深度强化学习的PPO,DQN,SAC,DDPG等算法实现python源码.zip
11-06
基于pytorch深度强化学习的PPO,DQN,SAC,DDPG等算法实现python源码.zip基于pytorch深度强化学习的PPO,DQN,SAC,DDPG等算法实现python源码.zip基于pytorch深度强化学习的PPO,DQN,SAC,DDPG等算法实现python源码.zip基于...
强化学习算法Pytorch实现全家桶
06-19
pytorch框架，主要实现算法有Q-Learning，Sarsa，DQN，DQN-cnn，DoubleDQN，Hierarchical DQN，PG，A2C，SAC，PPO，DDPG，TD3等，能够满足GPU和CPU不同条件，实现模型保存，断点续训，测试结果绘图等，可在此框架...
深度强化学习算法和环境的PyTorch实现-Python开发
05-25
深度强化学习算法和环境的PyTorch实现带有PyTorch的深度强化学习算法该存储库包含深度强化学习算法和环境的PyTorch实现。 算法实现了具有固定Q目标的深度Q学习（DQN）（Mnih等人，2013），具有固定Q目标的DQN（Mnih...
Python-深度增强学习算法的PyTorch实现策略梯度生成对抗模仿学习
08-11
深度增强学习算法的PyTorch实现(策略梯度/生成对抗模仿学习)
强化学习（TD算法）
06-30
强化学习的任务就是利用观察到的回报来学习针对某个环境的最优或接近最优策略。它作为一种无导师机器学习方法，把环境的反馈作为 输入、通过学习选择能达到其目标的最优动作
Python-深度强化学习PyTorch实现集锦
08-11
This repository contains most of classic deep reinforcement learning algorithms, including - DQN, DDPG, A3C, PPO, TRPO. (More algorithms are still in progress)
强化学习算法（Csaba Szepesvari）Algorithms for Reinforcement Learning (Csaba Szepesvari)
10-29
本书重点研究基于强大的动态编程理论的强化学习算法。 它给出了学习问题的相当全面的目录，描述了核心思想，注意到了大量最新的算法，然后讨论了它们的理论特性和局限性。
PyTorch中的深度强化学习：从入门到精通
最新发布
AGI通用人工智能之禅
05-06 57
1. 背景介绍 深度强化学习（Deep Reinforcement Learning，DRL）是人工智能领域的一颗璀璨明珠，它将深度学习的感知能力与强化学习的决策能力相结合，赋予了机器在复杂环境中学习和做出最优决策的能力。PyTorch作为一款灵活高效的深度学习框架，为DRL的研究和应用提供了强大的支持。
探索PyTorch实现的深度强化学习算法：Deep-Reinforcement-Learning-Algorithms
gitblog_00013的博客
04-19 497
探索PyTorch实现的深度强化学习算法：Deep-Reinforcement-Learning-Algorithms 项目地址:https://gitcode.com/XinJingHao/Deep-Reinforcement-Learning-Algorithms-with-Pytorch 在这个快速发展的AI时代，深度强化学习（Deep Reinforcement Learning, DRL...
深入了解PyTorch的强化学习算法与应用
禅与计算机程序设计艺术
01-25 496
1.背景介绍 强化学习(Reinforcement Learning, RL)是一种人工智能技术，它通过在环境中执行一系列操作来学习如何取得最大化的累积奖励。强化学习算法在许多领域得到了广泛应用，例如游戏、机器人控制、自动驾驶等。PyTorch是一个流行的深度学习框架，它支持强化学习算法的实现和训练。本文将深入了解PyTorch的强化学习算法与应用，包括背景介绍、核心概念与联系、核心算法原理和具...
强化学习算法-Q-Learning
ThinkOneA的博客
04-08 2530
文章目录前言什么是Q-LearningQ-Learning算法原理Q-Learning算法实现步骤Q-Learning算法设计Q-Learning举例示例分析思路算法设计代码编写训练结果代码讲解总结导航 前言   在本篇文章中，我将描述Q-Learning算法相关知识，并通过一个示例展示拿到一个问题后，如何用Q-Learning算法解决这个问题，从算法设计到算法实现都会涉及，由于Q-Learning算法相关数学推导和马尔可夫决策相关理论知识网上已经有大量教程，本文不再赘述，感兴趣的小伙伴儿可以自行查阅（作者
用pytorch实现一下基于策略梯度下降的深度强化学习算法
05-19
好的，下面是一个基于策略梯度下降的深度强化学习算法的PyTorch实现。 首先我们需要导入相关的包和定义一些超参数： ```python import gym import torch import torch.nn as nn import torch.optim as optim import numpy as np # 超参数 learning_rate = 0.01 gamma = 0.99 hidden_layer = 128 batch_size = 32 episodes = 1000 render = False ``` 接下来，我们需要定义一个神经网络来估计策略。这里我们使用一个简单的全连接神经网络，输入是状态向量，输出是动作的概率分布。 ```python class Policy(nn.Module): def __init__(self, input_dim, output_dim, hidden_layer=128): super(Policy, self).__init__() self.fc1 = nn.Linear(input_dim, hidden_layer) self.fc2 = nn.Linear(hidden_layer, output_dim) def forward(self, x): x = torch.relu(self.fc1(x)) x = torch.softmax(self.fc2(x), dim=1) return x ``` 接下来，我们定义一些函数来计算策略梯度和更新策略。 ```python def compute_policy_gradient(policy, rewards, states, actions): # 计算策略梯度 R = 0 policy_gradient = [] for r in rewards[::-1]: R = r + gamma * R policy_gradient.insert(0, -R) policy_gradient = torch.tensor(policy_gradient) policy_gradient = (policy_gradient - policy_gradient.mean()) / (policy_gradient.std() + 1e-9) # 计算动作概率分布 states = torch.tensor(states, dtype=torch.float32) action_probs = policy(states) dist = torch.distributions.Categorical(action_probs) # 计算策略梯度乘以动作概率 actions = torch.tensor(actions) log_probs = dist.log_prob(actions) policy_gradient *= log_probs.exp() return policy_gradient def update_policy(policy, optimizer, policy_gradient): # 更新策略 optimizer.zero_grad() policy_gradient.mean().backward() optimizer.step() ``` 最后，我们定义主函数来运行整个强化学习算法。在每个回合结束后，我们先计算策略梯度，然后用策略梯度更新策略。 ```python if __name__ == '__main__': # 初始化环境和策略 env = gym.make('CartPole-v0') policy = Policy(env.observation_space.shape[0], env.action_space.n, hidden_layer=hidden_layer) optimizer = optim.Adam(policy.parameters(), lr=learning_rate) # 训练策略 for episode in range(episodes): # 初始化回合 state = env.reset() done = False rewards = [] states = [] actions = [] # 运行回合 while not done: if render: env.render() # 选择动作 state = torch.tensor(state, dtype=torch.float32).unsqueeze(0) action_probs = policy(state) dist = torch.distributions.Categorical(action_probs) action = dist.sample().item() # 执行动作 next_state, reward, done, _ = env.step(action) # 存储数据 states.append(state) actions.append(action) rewards.append(reward) # 更新状态 state = next_state # 计算策略梯度并更新策略 policy_gradient = compute_policy_gradient(policy, rewards, states, actions) update_policy(policy, optimizer, policy_gradient) # 打印训练进度 if episode % 10 == 0: print(f'Episode {episode}/{episodes}') env.close() ``` 这样我们就完成了基于策略梯度下降的深度强化学习算法的PyTorch实现。您可以根据实际情况调整超参数和神经网络结构来获得更好的性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值