gym自定义可视化环境基础

最新推荐文章于 2024-09-12 18:12:44 发布
最新推荐文章于 2024-09-12 18:12:44 发布
阅读量3.6k 收藏 14
点赞数
分类专栏： gym 文章标签： 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44018458/article/details/108712684
版权

机器人找金币

简介

gym的核心接口是Env，作为统一的环境接口。Env包含下面几个核心方法：

  • reset(self)：重置环境的状态，返回观察。
  • step(self, action)：推进一个时间步长，返回observation，reward，done，info
  • render(self, mode=’human’, close=False)：重绘环境的一帧。默认模式一般比较友好，如弹出一个窗口。

render

用 gym 搭建这个简单的环境
在这里插入图片描述
绘制可视化环境

import gym
from gym.envs.classic_control import rendering		# render 函数里要有这个包，否则报错


class GridEnv(gym.Env):
    def __init__(self):
    	# 600*400 的窗口
        self.viewer = rendering.Viewer(600,400)

    def render(self,mode='human'):
        # 画网格
        self.viewer.draw_line((100,300),(500,300))
        self.viewer.draw_line((100,200),(500,200))
        self.viewer.draw_line((100,300),(100,100))
        self.viewer.draw_line((180,300),(180,100))
        self.viewer.draw_line((260,300),(260,100))
        self.viewer.draw_line((340,300),(340,100))
        self.viewer.draw_line((420,300),(420,100))
        self.viewer.draw_line((500,300),(500,100))
        self.viewer.draw_line((100,100),(180,100))
        self.viewer.draw_line((260,100),(340,100))
        self.viewer.draw_line((420,100),(500,100))

        # 画金币  									添加平移这个属性
        self.viewer.draw_circle(40,color=(1,0.9,0)).add_attr(rendering.Transform(translation=(300,150)))
        # 画陷阱
        self.viewer.draw_circle(40,color=(0,0,0)).add_attr(rendering.Transform(translation=(140,150)))
        self.viewer.draw_circle(40,color=(0,0,0)).add_attr(rendering.Transform(translation=(460,150)))
        # 机器人
        self.viewer.draw_circle(30,color=(0.8,0.6,0.4)).add_attr(rendering.Transform(translation=(140,250)))
        return self.viewer.render(return_rgb_array=mode == 'human')


# 测试环境
env = GridEnv()
while True:
    env.render()

step

step()函数的输入是动作，输出是下一个时刻的动作、回报、是否终止和调试信息。对于调试信息，可以为空，但不能缺少，否则会报错，常用{}来代替。

有了状态空间、动作空间和状态转移概率，我们便可以写 step(a) 函数了。

状态空间：

self.states = [1,2,3,4,5,6,7,8]

动作空间：

self.actions = ['n','e','s','w']

回报函数：

self.rewards = dict()		# 回报函数的数据结构为字典
self.rewards['1_s'] = -1.0	
self.rewards['3_s'] = 1.0
self.rewards['5_s'] = -1.0

状态转移概率：
在这里插入图片描述

self.t = dict()				# 状态转移的数据结构为字典
self.t['1_s'] = 6
self.t['1_e'] = 2
self.t['2_w'] = 1
self.t['2_e'] = 3
self.t['3_w'] = 2
self.t['3_e'] = 4
self.t['3_s'] = 7
self.t['4_w'] = 3
self.t['4_e'] = 5
self.t['5_w'] = 4
self.t['5_s'] = 8

def step(self,action):
        # 系统当前状态
        state = self.state
        # 判断系统当前状态是否为终止状态
        if state in self.terminate_states:
            return state,0,True,{}
        key = "%d_%s"%(state,action)    # 将状态和动作组成字典的键值对
        # 状态转移
        if key in self.t:
            next_state = self.t[key]
        else:
            next_state = state
        self.state = next_state
        is_terminal = False
        if next_state in self.terminate_states:
            is_terminal = True
        if key not in self.rewards:
            r = 0.0
        else:
            r = self.rewards[key]
        return next_state,r,is_terminal,{}

reset

def reset(self):
	self.state = self.states[int(random.random() * (len(self.states)-3))]
    return self.state

完整代码

import gym
from numpy import random
import time


class GridEnv(gym.Env):
    def __init__(self):
        
        self.states = [1,2,3,4,5,6,7,8]             # 状态
        self.x=[140,220,300,380,460,140,300,460]    # 机器人像素位置
        self.y=[250,250,250,250,250,150,150,150]
        self.actions = ['n','e','s','w']            # 动作

        self.rewards = dict()		# 回报函数的数据结构为字典
        self.rewards['1_s'] = -1.0	
        self.rewards['3_s'] = 1.0
        self.rewards['5_s'] = -1.0

        self.t = dict()				# 状态转移的数据结构为字典
        self.t['1_s'] = 6
        self.t['1_e'] = 2
        self.t['2_w'] = 1
        self.t['2_e'] = 3
        self.t['3_w'] = 2
        self.t['3_e'] = 4
        self.t['3_s'] = 7
        self.t['4_w'] = 3
        self.t['4_e'] = 5
        self.t['5_w'] = 4
        self.t['5_s'] = 8

        self.terminate_states = [6,7,8]
        self.viewer = None

    def step(self,action):
        # 系统当前状态
        state = self.state
        # 判断系统当前状态是否为终止状态
        if state in self.terminate_states:
            return state,0,True,{}
        key = "%d_%s"%(state,action)    # 将状态和动作组成字典的键值对
        # 状态转移
        if key in self.t:
            next_state = self.t[key]
        else:
            next_state = state
        self.state = next_state
        is_terminal = False
        if next_state in self.terminate_states:
            is_terminal = True
        if key not in self.rewards:
            r = 0.0
        else:
            r = self.rewards[key]
        return next_state,r,is_terminal,{}

    def reset(self):
        self.state = self.states[int(random.random() * (len(self.states)-3))]
        return self.state

    def close(self):
        if self.viewer:
            self.viewer.close()
            self.viewer = None




    def render(self,mode='human'):
        from gym.envs.classic_control import rendering	# 这里一定要导入这个包，否则报错
        if self.viewer is None:
            self.viewer = rendering.Viewer(600,400)    
        # 画网格
        self.viewer.draw_line((100,300),(500,300))
        self.viewer.draw_line((100,200),(500,200))
        self.viewer.draw_line((100,300),(100,100))
        self.viewer.draw_line((180,300),(180,100))
        self.viewer.draw_line((260,300),(260,100))
        self.viewer.draw_line((340,300),(340,100))
        self.viewer.draw_line((420,300),(420,100))
        self.viewer.draw_line((500,300),(500,100))
        self.viewer.draw_line((100,100),(180,100))
        self.viewer.draw_line((260,100),(340,100))
        self.viewer.draw_line((420,100),(500,100))

        # 画金币
        self.viewer.draw_circle(40,color=(1,0.9,0)).add_attr(rendering.Transform(translation=(300,150)))
        # 画陷阱
        self.viewer.draw_circle(40,color=(0,0,0)).add_attr(rendering.Transform(translation=(140,150)))
        self.viewer.draw_circle(40,color=(0,0,0)).add_attr(rendering.Transform(translation=(460,150)))
        # 机器人
        #self.viewer.draw_circle(30,color=(0.8,0.6,0.4)).add_attr(rendering.Transform(translation=(140,250)))
        self.rebottrans = rendering.Transform()
        self.rebot = self.viewer.draw_circle(30,color=(0.8,0.6,0.4)).add_attr(self.rebottrans)
            
        if self.state is None: return None
        #self.rebot = self.viewer.draw_circle(30,color=(0.8,0.6,0.4)).add_attr(rendering.Transform(translation=(self.x[self.state-1],self.y[self.state-1])))
        self.rebottrans.set_translation(self.x[self.state-1],self.y[self.state-1])
        
        return self.viewer.render(return_rgb_array=mode == 'rgb_array')


# 测试环境
if __name__ == "__main__":
    env = GridEnv()
    env.reset()
    while True:
        action = env.actions[int(random.random()*len(env.actions))]
        next_state,r,is_terminal,info = env.step(action)
        env.render()
        if is_terminal == True:
            print("reward:",r)
            break
        time.sleep(0.5)
    env.close()
码上行舟
关注
专栏目录
OpenAI Gym 高级教程——可解释性和可视化
Echo_Wish的博客
02-05 772
通过本篇博客，我们深入了解了 OpenAI Gym 高级教程，聚焦于强化学习模型的可解释性和可视化。我们使用 SHAP 来解释模型输出，在训练过程中可视化奖励变化趋势，以及通过状态值函数的可视化理解模型对不同状态的估值。这些技术可以帮助你更好地理解和分析强化学习模型的行为。希望这篇博客对你理解并实践可解释性和可视化有所帮助。
解锁gym自定义环境与gridworld网格可视化
jcx2022的博客
05-16 1182
自定义Gym环境的迷宫，联合gridworld网格可视化，让你的强化学习模型在专属的沙盒中自由探索。结尾附上Qlearning算法接入效果及结果。
强化学习：gym自定义可视化环境实例
BBJG_001的博客
03-12 7667
原文地址 分类目录——强化学习 先观察一下环境测试的效果 Gym环境的主要架构 查看gym.Env类的主要结构如下 其中主要会用到的是metadata、step()、reset()、render()、close() metadata：元数据，用于支持可视化的一些设定，改变渲染环境时的参数，如果不想改变设置，可以无 step()：用于编写智能体与环境交互的逻辑；它接受一个动作（acti...
【强化学习系列】Gym库使用——创建自己的强化学习环境1：单一环境创建测试+简单环境可视化
qq_58718853的博客
09-12 891
本文基于gym官方文档尝试创建自己的单一强化学习环境
基于OpenAI Gym 的自定义可视化环境
lhfde的专栏
04-01 1081
目录 123 asds 456 123 asds 456 678
强化学习：一个Q_Learning算法+gym自定义可视化环境实例
BBJG_001的博客
03-15 4898
原文地址 分类目录——强化学习 先观察效果 ​ 上图是训练过程中的图片 ​ 上图是训练结束后测试阶段的效果，依次选择0，1，2，3四个位置，智能体均能自行到达终点 环境解释 状态空间S：共有5个状态，从左到右一次为0，1，2，3，4 动作空间A：共有3个动作，0，1，2分别表示原地不动，向左，向右 Q值表为S*A的表格，每个Q值表示在状态s下选择动作a的Q值（s跟a搭配的合适程度，越大...
强化学习：自定义gym环境可视化绘制
BBJG_001的博客
03-14 9791
原文地址 分类目录——强化学习 Gym环境的主要架构 查看gym.Env类的主要结构如下 其中主要会用到的是metadata、step()、reset()、render()、close() metadata：元数据，用于支持可视化的一些设定，改变渲染环境时的参数，如果不想改变设置，可以无 step()：用于编写智能体与环境交互的逻辑；它接受一个动作（action）的输入，根据action给...
0基础创建自定义gym环境-以股票市场为例
漫步量化
07-18 7092
本文翻译自Adam King于4.10发表的《Create custom gym environments from scratch — A stock market example》，英文好的建议看原文。此翻译版本只是自我学习。 翻译完，我自己都觉得语句不通顺，各位看客见谅哈，英文水平慢慢修炼中 OpenAI的gym是一个非常棒的包(package)，可以用来创建自定义强化学习智体。自带许多...
使用gym创建一个自定义环境
WHTU_JZZ的博客
09-20 3847
强化学习从入门到入土1：创建一个属于自己的环境
一个支持非gym环境训练、支持可视化配置的深度强化学习应用编程框架，30分钟上手强化学习编程。.zip
01-14
在标题和描述中提到的编程框架，显然是为了简化DRL的学习曲线，使开发者能够快速上手，并且支持非OpenAI Gym环境的训练，同时提供了可视化的配置选项。 1. **非gym环境训练**：OpenAI Gym是一个广泛使用的强化学习...
第一个Gym程序(实验)
天才男孩的博客
03-30 2045
import gym #导入MountainCar-v0环境 env = gym.make('MountainCar-v0') #初始化环境 env.reset() #循环1000次 for _ in range(1000): #绘图 env.render() #进行一个动作 env.step(env.action_space.sample()) # take a ...
Gym - 101611H Hilarious Cooking——模拟
hao_zong_yin的博客
09-20 627
求每段的最大值最小值，加起来判断T是否在这个范围内就好了 每一段最大值分升降和升平一个降两种情况，但转折点的横坐标都可以表示为t=(y2-y1+x2+x1)/2下取整，之后判一下t和t+1对应的纵坐标是否相等就可以判断这两种情况了 每一段最小值同理，注意转折点的值不能为0，和0取个max就行了 然后单独求一下头尾就做完了 区间都采用左闭右开比较好写，注意数值全部用long long #...
Gym - 102056C(2018EC final) - CRT
过路人丶的博客
01-12 1252
题目链接：https://vjudge.net/problem/Gym-102056C   解题思路： 很明显是在200个字符串中存在一个最前面的位置是4*k，它的值自然是0，之后每隔+4依然是4的倍数，所以它的值也是0，那么在这200个字符串中，我们可以枚举4,9,,25,49,121,169这6个数，利用中国剩余定理（CRT）可以用六个式子解出待定解x，那么如何快速判断x是否是可行解呢？...
gym自定义可视化环境练习1
CarveStone的博客
09-24 720
构建如下迷宫世界
chatgpt赋能python：Python中的Gym库：让强化学习变得更简单
aijinglingchat的博客
05-29 350
本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型，只是展现它原本的实力。对于颠覆工作方式的ChatGPT，应该选择拥抱而不是抗拒，未来属于“会用”AI的人。🧡AI职场汇报智能办公文案写作效率提升教程 🧡专注于AI+职场+办公方向。下图是课程的整体大纲下图是AI职场汇报智能办公文案写作效率提升教程中用到的ai工具。
强化学习问题（三）--- Python Gym ImportError cannot import name ‘rendering‘ from ‘gym.envs.classic_control‘
weixin_48878618的博客
10-14 1230
意思是缺rendering文件，这个问题主要是由于Gym版本的变化，在某个版本中删除了classic_control包中的rendering文件，所以需要手动把这个文件给加上。
Gym画图
ZongXS的博客
07-08 1153
Gym画图 首先导入gym和gym中的rendering模块 import gym from gym.envs.classic_control import rendering 定义一个环境类，该类继承gym.Env，同时添加元数据，改变渲染环境时的参数 class Environment(gym.Env): # 如果你不想改参数，下面可以不用写 metadata = { 'render.modes': ['human', 'rgb_array'], 'vi
Python Gym ImportError cannot import name ‘rendering‘ from ‘gym.envs.classic_control‘
热门推荐
丹丹的后花园
03-17 1万+
ImportError cannot import name 'rendering' from 'gym.envs.classic_control'。这篇文章说不定能帮到你
pycharm中强化学习可视化环境怎么搭建
最新发布
09-26
1. **安装必要的库**：首先需要安装像`gym`（用于 gym 环境的库）、`TensorFlow`（用于创建模型）、`Keras`（深度学习框架）以及可视化库如`matplotlib`、`plotly`等。 ```python !pip install gym tensorflow ...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

码上行舟

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值