基于自定义gym环境的强化学习

最新推荐文章于 2024-06-12 16:39:33 发布
最新推荐文章于 2024-06-12 16:39:33 发布
阅读量1.3k 收藏 19
点赞数 4
文章标签： python numpy 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ColinFhz/article/details/130012820
版权
该文展示了如何创建一个基于gym的定制环境，用于路径规划问题。环境是一个5x5的网格，目标是从起点（0,0）移动到终点（4,4），使用上、下、左、右四个动作。每步奖励-1，到达终点奖励10，超过200步结束。之后，使用稳定基线库（stable-baselines3）的PPO算法进行训练，并保存模型。在测试中，模型展示出有效的路径选择策略。
摘要由CSDN通过智能技术生成

本文实现了一个简单的基于gym环境的强化学习的demo，参考了博客使用gym创建一个自定义环境。

1. 依赖包版本

gym == 0.21.0
stable-baselines3 == 1.6.2

2. 场景描述

场景描述起点：（0，0）
终点：（4，4）
动作空间：{0：向上，1：向下，2：向左，3：向右}
状态空间：agent所处坐标
目标：以最短的路径起点走到终点
奖励设置：到达终点奖励为：10，其他每走一步奖励为：-1
终止条件：1. 达到终点；2.探索次数超过200

3. 搭建gym环境

"""
@Author: Fhz
@Create Date: 2023/4/6 22:08
@File: gym_test.py
@Description: 
@Modify Person Date: 
"""
import gym
from gym import Env
from gym import spaces
import numpy as np
from copy import deepcopy


class PathPlanning(Env):
    def __init__(self):
        self.rows = 5
        self.cols = 5
        self.start = [0, 0]
        self.goal = [4, 4]
        self.count = 0
        self.current_state = None
        self.action_space = spaces.Discrete(4)

        self.observation_space = spaces.Box(low=np.array([0, 0]), high=np.array([4, 4]))

    def step(self, action):
        self.count = self.count + 1
        new_state = deepcopy(self.current_state)
        if action == 0:  # up
            new_state[0] = max(new_state[0] - 1, 0)
        elif action == 1:  # down
            new_state[0] = min(new_state[0] + 1, self.cols - 1)
        elif action == 2:  # left
            new_state[1] = max(new_state[1] - 1, 0)
        elif action == 3:  # right
            new_state[1] = min(new_state[1] + 1, self.rows - 1)
        else:
            raise Exception("Invalid action")
        self.current_state = new_state

        if self.current_state[1] == self.goal[1] and self.current_state[0] == self.goal[0]:
            done = True
            reward = 10.0
        else:
            done = False
            reward = -1
        if self.count > 200:
            done = True

        info = {}
        return self.current_state, reward, done, info

    def render(self):
        pass

    def reset(self):
        self.count = 0
        self.current_state = self.start
        return self.current_state

4. Baseline强化学习寻优

4.1 参数设置

网络框架：“mlp”, 64x64
学习率：5e-4
batch size：32
训练次数：5e4

"""
@Author: Fhz
@Create Date: 2023/4/6 22:08
@File: gym_test.py
@Description: 
@Modify Person Date: 
"""
import gym
from gym import Env
from gym import spaces
import numpy as np
from copy import deepcopy
from stable_baselines3 import PPO


class PathPlanning(Env):
    def __init__(self):
        self.rows = 5
        self.cols = 5
        self.start = [0, 0]
        self.goal = [4, 4]
        self.count = 0
        self.current_state = None
        self.action_space = spaces.Discrete(4)

        self.observation_space = spaces.Box(low=np.array([0, 0]), high=np.array([4, 4]))

    def step(self, action):
        self.count = self.count + 1
        new_state = deepcopy(self.current_state)
        if action == 0:  # up
            new_state[0] = max(new_state[0] - 1, 0)
        elif action == 1:  # down
            new_state[0] = min(new_state[0] + 1, self.cols - 1)
        elif action == 2:  # left
            new_state[1] = max(new_state[1] - 1, 0)
        elif action == 3:  # right
            new_state[1] = min(new_state[1] + 1, self.rows - 1)
        else:
            raise Exception("Invalid action")
        self.current_state = new_state

        if self.current_state[1] == self.goal[1] and self.current_state[0] == self.goal[0]:
            done = True
            reward = 10.0
        else:
            done = False
            reward = -1
        if self.count > 200:
            done = True

        info = {}
        return self.current_state, reward, done, info

    def render(self):
        pass

    def reset(self):
        self.count = 0
        self.current_state = self.start
        return self.current_state


if __name__ == '__main__':
    env = PathPlanning()

    model = PPO('MlpPolicy', env,
                policy_kwargs=dict(net_arch=[64, 64]),
                learning_rate=5e-4,
                batch_size=32,
                gamma=0.8,
                verbose=1,
                tensorboard_log="PPO_define/")

    model.learn(int(5e4))
    model.save("PPO_define/PPOmodel")

4.2 训练结果

在这里插入图片描述在这里插入图片描述

4.3 结果测试

if __name__ == '__main__':
    env = PathPlanning()

    ACTIONS_ALL = {
        0: 'Up',   # 向上
        1: 'Down', # 向下
        2: 'Left', # 向左
        3: 'Right' # 向右
    }

    # load model
    model = PPO.load("PPO_define/PPOmodel", env=env)

    eposides = 10

    for eq in range(eposides):
        obs = env.reset()
        done = False
        rewards = 0
        while not done:
            # action = env.action_space.sample()
            action, _state = model.predict(obs, deterministic=True)
            action = action.item()
            print("The action is: {}".format(ACTIONS_ALL[action]))
            # print("The action is {}".format(action))
            obs, reward, done, info = env.step(action)
            env.render()
            rewards += reward
        print(rewards)

结果输出：

The action is: Down
The action is: Down
The action is: Right
The action is: Right
The action is: Down
The action is: Right
The action is: Down
The action is: Right
3.0
The action is: Down
The action is: Down
The action is: Right
The action is: Right
The action is: Down
The action is: Right
The action is: Down
The action is: Right
3.0
The action is: Down
The action is: Down
The action is: Right
The action is: Right
The action is: Down
The action is: Right
The action is: Down
The action is: Right
3.0
The action is: Down
The action is: Down
The action is: Right
The action is: Right
The action is: Down
The action is: Right
The action is: Down
The action is: Right
3.0
The action is: Down
The action is: Down
The action is: Right
The action is: Right
The action is: Down
The action is: Right
The action is: Down
The action is: Right
3.0
The action is: Down
The action is: Down
The action is: Right
The action is: Right
The action is: Down
The action is: Right
The action is: Down
The action is: Right
3.0
The action is: Down
The action is: Down
The action is: Right
The action is: Right
The action is: Down
The action is: Right
The action is: Down
The action is: Right
3.0
The action is: Down
The action is: Down
The action is: Right
The action is: Right
The action is: Down
The action is: Right
The action is: Down
The action is: Right
3.0
The action is: Down
The action is: Down
The action is: Right
The action is: Right
The action is: Down
The action is: Right
The action is: Down
The action is: Right
3.0
The action is: Down
The action is: Down
The action is: Right
The action is: Right
The action is: Down
The action is: Right
The action is: Down
The action is: Right
3.0

在这里插入图片描述

Colin_Fang
关注
  • 4
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
使用gym创建一个自定义环境
WHTU_JZZ的博客
09-20 3742
强化学习从入门到入土1：创建一个属于自己的环境
强化学习GYM环境查看
mine-Programmer
05-27 1879
# -*- coding: utf-8 -*- """ Created on Fri Mar 26 11:37:10 2021 @author: han """ import gym import random import numpy as np import matplotlib.pyplot as plt env = gym.make('Pendulum-v0') state = env.reset() done =False action =3 t = 0 for _ in range(
【强化学习】gymnasium自定义环境并封装学习笔记
最新发布
几度热忱的博客
06-12 2384
【强化学习】gymnasium自定义环境并封装学习笔记 gym与gymnasium简介 gym gymnasium gymnasium的基本使用方法 使用gymnasium封装自定义环境 官方示例及代码 编写环境文件 __init__()方法 reset()方法 step()方法 render()方法 close()方法 注册环境 创建包 Package（最后一步） 创建自定义环境示例
gym自定义环境
qq_46248455的博客
04-05 681
如何自定义一个自己的强化学习环境呢，并且将该环境安装在本地文件夹中，可供随时修改该环境，如状态、动作、奖励等。具体方法如下：
使用gym搭建自定义（以二维迷宫为例）环境并实现强化学习 python
weixin_66540163的博客
04-25 1892
直接上代码，在我们自定义的环境myenv/myenv.py中写入（详细讲解在6）""""""""""""return {canvas,),canvas,canvas,0,width=3,canvas,0,width=3,
【RL】自定义强化学习环境（基础）
MrZhang的博客
05-25 1279
主要就是两个属性（动作空间action_spce, 观测空间observation_space），两个方法（reset，step），奖励规则（compute_reward）​​# 动作空间# 观测空间​'''重置环境。在开始一个新的回合时调用，返回初始状态和一个可选信息字典'''​'''执行一步操作。在环境中执行给定的动作并返回新的状态、奖励、是否完成和额外信息'''​​pass离散：有限的、明确的选择（例如：上下左右）。连续：无限的、细微的变化（例如：方向盘角度）。
gym强化学习环境搭建
haodawei123的博客
11-20 1167
gym搭建强化学习环境遇到很多问题终于解决了这里记录一下
强化学习的四种相关环境介绍
03-22
强化学习的四种相关环境介绍 强化学习是机器学习领域中的一种重要技术，旨在让 agent 通过试验和错误来学习如何在环境中采取合适的行动，以获得最大化的奖励。在强化学习中，环境是agent 学习和交互的平台。下面...
强化学习-Q学习-基于gym.zip
02-01
标题中提到的"强化学习-Q学习-基于gym"，意味着我们将探讨如何使用Python的gym库来实现一个Q学习的强化学习问题。gym是OpenAI提供的一套用于创建和解决经典强化学习问题的工具包，它提供了许多预定义的环境，使得...
gym-CarDrifting2D:自定义的健身房环境，适合自上而下的漂移游戏
03-25
自上而下的体育馆开车 自定义的健身房环境，适合自上而下的漂移游戏 使用pip软件包安装： pip install gym-CarDrifting2D 这是一个随机动作的例子： import gym import gym_Drifting2D import random env = gym . make ( "CarDrifting2D-v0" , drag = 0.9 , power = 1 , turnSpeed = 0.04 , angularDrag = 0.6 , multiInputs = False , showGates = False , constantAccel = False ) # Parameter Definitions: # Drag, how much the car skids, the higher the more skid # power, ho
强化学习快速简单 Demo.zip
09-25
强化学习快速简单 Demo。.zip,最小和干净的强化学习示例
(一)逐步搭建机器人(机械臂)强化学习环境 Pybullet + Gym + Stable Baselines3
linyijiong的博客
06-24 4688
本文代码可在https://github.com/YijiongLin中进行下载。（请点赞支持！） 一、搭建基于pybullet的gym环境 1.1 基本文件结构 My_Robot_Gym/ setup.py __init__.py (for register) my_robot_gym/ assets/ (for storing robot model, etc.) robo
强化学习环境学习-gym[atari]-paper中的相关设置
启人zhr的博客
08-28 9517
0. gym 核心 这部分的代码在gym/core.py中, 原始基类为Env,主要可调用step,reset,render,close,seed几个方法,大体框架如下 class Env(object): def reset(self): pass def step(self, action): pass def render(self, ...
Q-Learning强化学习Demo
思想交换空间
04-17 612
强化学习及Q-Learning算法的简单理解 首先明确学习的概念，学习是系统为了适应环境而做出的长久的变化，以便在未来更有效率的处理类似的问题。 强化学习就是通过算法和训练，让程序的产生相应的变化，未来更好地处理类似问题。 Q-Learning就是其中一种简单的系统实现，通过Q-Table的不断更新，来产生长久的变化。 强化学习主要分为两部分： 学习系统本身(即学习程序) 环境(即学习程序要解决...
自定义openAI gym环境
m0_38122847的博客
03-09 842
自定义gym环境
【强化学习】demo系列——基于gym自定义RL环境
liuyider的博客
03-29 2001
gym是许多强化学习框架都支持了一种常见RL环境规范，实现简单，需要重写的api很少也比较通用。本文旨在给出一个简单的基于gym的自定义单智能体强化学习环境demo写好了自定义的RL环境后，还需要注册到安装好的gym库中，不然导入的时候是没有办法成功的。首先需要在gym/envs文件目录下创建一个文件夹用于保存你的RL环境（），一般路径为./anaconda3/envs/RL/lib/python3.8/site-packages/gymnasium/envs。在保存RL环境的文件夹下创建“init。
提供基于离散型动作的强化学习环境编写代码
07-15
当涉及到基于离散型动作的强化学习环境编写时，你可以使用OpenAI Gym库来创建自定义环境。下面是一个简单的示例，展示了一个基于离散型动作的环境，你可以根据具体的任务需求进行修改和扩展： ```python import gym from gym import spaces import numpy as np class CustomEnv(gym.Env): def __init__(self): super(CustomEnv, self).__init__() self.action_space = spaces.Discrete(3) # 3种离散动作 self.observation_space = spaces.Box(low=0, high=1, shape=(2,)) # 状态空间为2维向量，取值范围为[0, 1] def reset(self): # 返回初始状态 self.state = np.random.rand(2) return self.state def step(self, action): # 执行动作并返回新的状态、奖励、完成标志和附加信息 assert self.action_space.contains(action) # 根据动作更新状态 if action == 0: self.state[0] += 0.1 elif action == 1: self.state[0] -= 0.1 elif action == 2: self.state[1] += 0.1 # 计算奖励 reward = self._calculate_reward() # 判断是否完成 done = (self.state[0] >= 1) or (self.state[1] >= 1) # 返回状态、奖励、完成标志和附加信息 return self.state, reward, done, {} def _calculate_reward(self): # 计算奖励函数 reward = -np.sum(np.abs(self.state - np.array([0.5, 0.5]))) # 距离目标点(0.5, 0.5)越远，奖励越小 return reward def render(self): # 可视化环境状态（可选） print(f"Current state: {self.state}") # 创建自定义环境实例 env = CustomEnv() # 重置环境 state = env.reset() # 运行环境交互 for _ in range(10): action = env.action_space.sample() # 随机选择动作 next_state, reward, done, _ = env.step(action) env.render() if done: break ``` 在这个示例中，我们创建了一个名为`CustomEnv`的自定义环境。它具有一个2维状态空间和3个离散动作。`reset`方法用于重置环境并返回初始状态，`step`方法接收一个动作作为参数，并返回新的状态、奖励、完成标志和附加信息。`_calculate_reward`方法用于计算奖励函数。最后，我们使用`env.action_space.sample()`随机选择动作，并通过`env.step(action)`与环境交互。 请根据你的具体需求修改和扩展这个示例，以适应你的任务。希望对你有所帮助！如果还有其他问题，请随时提问。
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值