搭建强化学习环境（一）

已于 2024-01-17 13:23:54 修改
阅读量393 收藏 1
点赞数 1
文章标签： python 开发语言
于 2023-11-18 13:18:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cll525/article/details/134476868
版权

最近想进行强化学习的代码实战，于是学习了该视频课程:更简单的强化学习,代码实战_哔哩哔哩_bilibili

该强化学习课程需要搭建的环境信息:

我的系统是Ubuntu20.04

python==3.9

pytorch==1.12.1(cpu)

gym==0.26.2

pettingzoo==1.23.1

一、安装anconda3虚拟环境

1.1 为了便于管理，需要先装anaconda. 具体下载和安装步骤如下：

Step1. 下载anaconda安装包 .推荐利用清华镜像来下载，下载地址为：

Index of /anaconda/archive/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

根据需要搭建的环境为python==3.9，选择对应的anconda版本，我下载的是Anaconda3-2022.10-Linux-x86_64.sh。其他版本对应关系可查看以下连接

Old package lists — Anaconda documentation

Step2. 安装anaconda。下载完成anaconda后，安装包会在Dowloads文件夹下，在终Ctrl+Alt+T打开终端）键入cd Downloads， 然后键入

bash Anaconda3-2022.10-Linux-x86_64.sh

Step3. 过程会询问你是否将路径安装到环境变量中，键入yes， 当安装完成。你会在目录/home/你的用户名文件夹下面看到anaconda3文件夹。重新开一个终端，若用户名之前出现（base），即说明环境变量起作用。

1.2. 利用anaconda建一个虚拟环境。

Anaconda创建虚拟环境的格式为：conda create –-name 你要创建的名字 python=版本号。

我创建的虚拟环境名字为gymlab, 用的python版本号为3.9，可这样写：

conda create --name gymlab python=3.9

此后，在anaconda3/envs文件夹下多一个gymlab。Python3.9就在gymlab下得lib文件夹中。

在新的终端里，键入以下命令激活虚拟环境

#方式一
source activate gymlab
#方式二
conda activate gymlab

二、安装gym

Step1. 在虚拟环境（gymlab）中，键入以下命令安装gym

pip install gym[atari]==0.26.2 -i https://mirrors.aliyun.com/pypi/simple

Step2. 可通过以下步骤检查gym是否正确安装，检查pytorch和pettingzoo同理：

1. 开一个终端(ctr+alt+t)， 然后激活用anaconda建立的虚拟环境：

source activate gymlab

2. 运行python:

python

3. 导入gym模块

import gym

4.查看gym的版本

gym.__version__

三、安装pytorch

我这里安装CPU的版本，在虚拟环境（gymlab）中，键入第一条命令安装，若安装GPU的版本，则键入第二条命令安装

# CPU
conda install pytorch==1.12.1  torchvision==0.13.1 torchaudio==0.12.1 cpuonly -c pytorch
# GPU
conda install pytorch==1.12.1 torchvision==0.13.1 torchaudio==0.12.1 cudatoolkit=11.6 -c pytorch -c conda-forge

四、安装pettingzoo

在虚拟环境（gymlab）中，键入以下命令安装

pip install pettingzoo[all]==1.23.1

Homicide_cll
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
PyTorch强化学习实战（1）——强化学习环境配置与PyTorch基础
盼小辉丶的博客
05-29 9万+
工欲善其事，必先利其器。为了更专注于学习强化学习的思想，而不必关注其底层的计算细节，我们首先搭建相关强化学习环境，包括 PyTorch 和 Gym，其中 PyTorch 是我们将要使用的主要深度学习框架，Gym 则提供了用于各种强化学习模拟和任务的环境。除此之外，本文还介绍了一些 PyTorch 的基础知识，以及 Gym 环境的使用方法，为之后的强化学习实战奠定基础。
基于Gym搭建的航天器强化学习模型测试和可视化平台.zip
05-11
强化学习（Reinforcement Learning, RL），又称再励学习、评价学习或增强学习，是机器学习的范式和方法论之一。它主要用于描述和解决智能体（agent）在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。强化学习的特点在于没有监督数据，只有奖励信号。 强化学习的常见模型是标准的马尔可夫决策过程（Markov Decision Process, MDP）。按给定条件，强化学习可分为基于模式的强化学习（model-based RL）和无模式强化学习（model-free RL），以及主动强化学习（active RL）和被动强化学习（passive RL）。强化学习的变体包括逆向强化学习、阶层强化学习和部分可观测系统的强化学习。求解强化学习问题所使用的算法可分为策略搜索算法和值函数（value function）算法两类。 强化学习理论受到行为主义心理学启发，侧重在线学习并试图在探索-利用（exploration-exploitation）间保持平衡。不同于监督学习和非监督学习，强化学习不要求预先给定任何数据，而是通过接收环境对动作的奖励（反馈）获得学习信息并更新模型参数。强化学习问题在信息论、博弈论、自动控制等领域有得到讨论，被用于解释有限理性条件下的平衡态、设计推荐系统和机器人交互系统。一些复杂的强化学习算法在一定程度上具备解决复杂问题的通用智能，可以在围棋和电子游戏中达到人类水平。 强化学习在工程领域的应用也相当广泛。例如，Facebook提出了开源强化学习平台Horizon，该平台利用强化学习来优化大规模生产系统。在医疗保健领域，RL系统能够为患者提供治疗策略，该系统能够利用以往的经验找到最优的策略，而无需生物系统的数学模型等先验信息，这使得基于RL的系统具有更广泛的适用性。 总的来说，强化学习是一种通过智能体与环境交互，以最大化累积奖励为目标的学习过程。它在许多领域都展现出了强大的应用潜力。
【PARL强化学习】环境搭建
weixin_44151650的博客
05-05 3188
PaddlePaddle前言1、创建虚拟环境2、安装库3、CUDA、cuDNN安装4、基础测试5、实例测试结语 前言 抢了半年显卡，终于5.1时在pdd买到了原价的rtx3050(买不起不是我的问题，是矿老板的)。不用来玩机器学习太浪费了，刚好对Reinforcement Learning很感兴趣，今天就费了半天功夫搭环境，做下记录。 我准备搭建的环境构成如下： gym，模拟问题环境。 PARL，搭建模型和训练Agent。 PaddlePaddle-gpu，利用GPU训练。 我个人的电脑环境如下： W
【2021.11.11更新】ROS机器人强化学习环境搭建(Ubuntu20.04 + ROS Noetic + OpenAI_ROS)，以Turtlebot3为例，包含自定义训练任务环境
qq_33361420的博客
06-25 7335
本文介绍了基于强化学习的turtlebot3自主导航学习环境，包括openai_ros的安装以及以其为基础创建自己的强化学习任务环境。
强化学习环境搭建
qq_38277565的博客
04-30 7110
强化学习环境搭建强化学习简介环境安装Anaconda安装安装DockerDocker介绍Docker安装OpenAI Gym安装Universe安装测试 Gym 和 Universe 强化学习简介 强化学习算法的大概流程 1.1. 智能体通过行为的选择与执行与环境交互 1.2.智能体的状态在执行了一个动作后进入下一个状态 1.3.环境会根据智能体的动作给予相应的奖惩 1.4.智能体根据环境给予...
强化学习仿真环境搭建
shineol的博客
09-09 3886
一文搞定anaconda、pycharm、强化学习gym环境搭建
一、深度强化学习环境搭建（pytorch、gym）
RWYZZDWH的博客
11-30 1212
深度强化学习gym的安装
Gym强化学习自定义环境的搭建
weixin_44597347的博客
04-20 9925
Gym 介绍 Gym是一个用于测试和比较强化学习算法的工具包，它不依赖强化学习算法结构，并且可以使用很多方法对它进行调用，像Tensorflow、Theano。Gym库收集、解决了很多环境的测试过程中的问题，能够很好地使得你的强化学习算法得到很好的工作。并且含有游戏界面，能够帮助你去写更适用的算法。 Gym 环境标准 基本的Gym环境如下图所示： import gym env = gym.make('CartPole-v0') for i_episode in range(20): observat
基于星际争霸II游戏的强化学习环境SC2LE（《星际争霸II 》学习环境搭建文档
07-26
windows下搭建sc2le环境，亲测有效
深度强化学习mujoco平台搭建指南
08-21
详细总结了如何在ubuntu16.04的基础上搭建深度强化学习mujoco的环境，可按照Openai的gym针对mujoco-py进行深度强化学习训练，解决了mujoco安装后，Ubuntu重启键盘鼠标失灵的情况。
基于Pytorch、Gym搭建的强化学习框架，训练机器自动操盘.zip
05-11
强化学习（Reinforcement Learning, RL），又称再励学习、评价学习或增强学习，是机器...总的来说，强化学习是一种通过智能体与环境交互，以最大化累积奖励为目标的学习过程。它在许多领域都展现出了强大的应用潜力。
深度强化学习算法四足机器人控制仿真（ python代码+pybullet环境）
05-27
包括：基于pybullet和，metagym搭建好的四足机器人模型使用sac和ppo算法训练数据集 包括：测试数据结果 运行前先配置python环境，并修改所有.py文件中的涉及的路径path.append(r'C:\Users\\机器人')
用PyCharm和Anaconda搭建强化学习环境
木森林的博客
04-25 2323
不需要魔法上网。GitHub虽然是外网，但可以直接访问；不需要学习克隆，直接下载压缩包即可。如果“魔法上网”和“克隆”这两个概念没听说过，完全不要紧，本文非必须。
番外篇，强化学习基础环境搭建
samurasun的博客
08-17 3210
我们要学习强化学习相关知识，仅仅通过看书肯定是远远不够的，必须要自己动手写一些代码，这样对相关内容的了解才能更全面，我们的知识也能够真正落地。因此，本篇主要是让大家了解一下基础环境的搭建。 Python、Anaconda、PyCharm Python 我们要进行强化学习实践，首推还是使用Python来搭建基础编程环境。如果对Python还不熟，推荐这个Python基础教程。 Anaconda 在开发环境配置方面，推荐大家使用Anaconda，通过它可以搭建虚拟环境。你可以把它构建的虚拟环境视为一个封
ubuntu中深度强化学习环境搭建（全命令行）
taitoushiyun的博客
03-21 3109
深度强化学习各种环境安装
强化学习开发环境搭建与入门实验——CliffWalking与CartPole
亦梦亦醒乐逍遥的博客
10-06 5093
本文讲解了强化学习的环境配置+服务器特殊配置+CliffWalking和CartPole的代码解析
从零开始搭建强化学习环境
禅与计算机程序设计艺术
09-02 2126
强化学习（Reinforcement Learning）是机器学习领域里一个重要分支，它与监督学习、无监督学习、强化学习等不同。其核心思想是给予机器以奖赏（Reward）或惩罚（Penalty），通过不断迭代与反馈获取信息，使机器能够做出更好的决策、策略或者行为。在强化学习领域中，一般会用到Q-learning、DQN、PG等算法。本文将基于这些算法进行整体介绍并重点阐述其实现原理。项目背景及研究意义；强化学习的定义及关键术语；
d - 数据结构实验之图论四:迷宫探索_强化学习基础篇（十一）迷宫环境搭建
weixin_35335035的博客
12-17 525
强化学习基础篇(十一)迷宫环境搭建这节中我们看看如何自己搭建一个强化学习实验环境，这里要做的是一个简单的迷宫环境。智能体在训练过程中的可视化过程如下：Maze44.gif1、环境设定红色正方形表示在探索中的智能体黑色正方形表示一个地狱终结点，当红色智能体到这个状态时，获得-1的奖励。黄色位置表示天堂终结点，当红色智能体到这个状态时，获得+1的奖励。所有其他的白色位置的奖励都为02. 源码...
基于JavaScript 如何实现爬山算法以及优化方案
最新发布
乐闻世界
06-10 1448
爬山算法（Hill Climbing Algorithm）是一种常见的启发式搜索算法，常用于解决优化问题。其核心思想是从一个初始状态出发，通过逐步选择使目标函数值增大的邻近状态来寻找最优解。接下来，我们将通过 JavaScript 实现一个简单的爬山算法，帮助大家理解其原理和应用。从一个初始状态开始。评估当前状态的目标函数值。在当前状态的邻居中选择一个目标函数值更大的状态。如果找到了更优的邻居，则移动到该邻居并重复步骤2和步骤3。如果没有更优的邻居，则算法结束，当前状态即为局部最优解。
强化学习环境的代码怎么写
06-13
强学习环境的代码实现通常需要根据具体的场景和任务进行编写。以下是一个简单的示例，演示了如何使用Java实现一个简单的强化学习环境： ```java public class MyEnvironment implements Environment<Integer> { private int currentState; public MyEnvironment() { this.currentState = 0; } @Override public ObservationSpace<Integer> getObservationSpace() { // 定义状态空间 return new DiscreteObservationSpace<>(10); } @Override public ActionSpace<Integer> getActionSpace() { // 定义动作空间 return new DiscreteActionSpace<>(2); } @Override public StepReply<Integer> step(Action<Integer> action) { // 根据动作计算奖励和下一个状态 int reward = 0; if (action.getAction() == 0) { currentState--; } else { currentState++; } if (currentState == 9) { reward = 1; } boolean done = (reward != 0); return new StepReply<>(currentState, reward, done, null); } @Override public Integer reset() { // 重置状态 currentState = 0; return currentState; } @Override public void close() { // 关闭环境 } } ``` 在这个示例中，我们实现了`Environment`接口，并重写了其中的方法。在`getObservationSpace()`方法中，我们定义了状态空间，并返回了一个`DiscreteObservationSpace`对象，表示状态空间由10个离散的状态组成。在`getActionSpace()`方法中，我们定义了动作空间，并返回了一个`DiscreteActionSpace`对象，表示动作空间由2个离散的动作组成。在`step()`方法中，我们根据代理选择的动作更新状态，并计算奖励。在`reset()`方法中，我们将状态重置为初始状态。在`close()`方法中，我们关闭环境。注意，这只是一个简单的示例，实际的强化学习环境可能需要更复杂的实现。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值