【Python】平衡杆CartPole-v0环境

已于 2024-01-15 16:07:50 修改
阅读量951 收藏 11
点赞数 6
文章标签： python 开发语言
于 2023-12-04 12:16:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wq6qeg88/article/details/134780893
版权

CartPole-v0环境的创建

import gym
GAME = 'CartPole-v0'
env = gym.make(GAME)

GAME = 'CartPole-v0'
env = gym.make(GAME)
N_S = env.observation_space.shape[0]
N_A = env.action_space.n

动作1维，两个可选动作

在这里插入图片描述
该环境的、有两个action : 0 和 1
0：小车向左
1：小车向右
在这里插入图片描述

状态4维

状态是四维的： (位置x，x加速度, 偏移角度theta, 角加速度)
小车的位置，就一条x轴
位置—》位置的加速度
角度—》角度的加速度
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
位置范围：【-4.8, 4.8】
位置加速度范围：【-3.4, 3.4】*10^38

Unwarpped

在这里插入图片描述

资源存储库
关注
【二】gym初次入门一学就会---代码详细解析简明教程----平衡杆案例
丨汀、的博客
04-08 5808
相关文章： 【一】gym环境安装以及安装遇到的错误解决 gym简明教程 创建CartPole-v0的环境. import gym env = gym.make('CartPole-v0') env.reset() for i in range(1000): env.render() env.step(env.action_space.sample()) # take a random action env.close() 代码含义： reset(self)：重置环境的状.
基于 CartPole-v0 环境的强化学习算法实现（附完整代码）
01-18 832
基于 CartPole-v0 环境的强化学习算法实现（附完整代码）
DRL_OpenAI-CartPole-v0：OpenAI CartPole-v0基于DeepRL的解决方案
02-26
基于OpenAI CartPole-v0 DeepRL的解决方案 使用深度Q网络（DQN），决斗DQN和决斗双DQN（D3QN） 软件/要求 Python IDE 皮查姆 深度学习库 Tensorflow + Keras 显卡 GeForce MX 250 口译员 Python 3.8 Python环境 水蟒 配套 requirements.txt 要设置Pycharm + Anaconda + GPU，请在查阅设置文件要导入所需的包 ，请在项目环境终端中输入以下说明： OpenAI CartPole-v0 动作： 0-向左推购物车1-向右推购物车 状态： 0-购物车位置1-推车速度2-极角3-尖端极速 奖励： 每走一步的标量值（1） 剧集终止： 极角大于±12° 推车的位置大于±2.4（推车的中心到达显示屏的边缘） 剧集长度大于200 深度强化学习框架 深度Q网络（DQN）
gym库中CartPole-v0环境代码详解
qq_44858605的博客
10-28 820
代码源码在gym\envs\classic_control\cartpole中。当agent完成任务或任务失败后将环境重置为初始状态，以便进行新一轮训练。​ 接受agent的动作、计算下一时刻状态和奖励、检查任务是否已完成。针对源码的详细解释都备注在下方代码块具体程序里。随机数生成器，以便在实验中获得可重复的结果。用于可视化环境状态，一般直接调用就行。
PyTorch深度强化学习中蒙特卡洛策略梯度法在短走廊环境（CartPole-v0）中的实战（超详细 附源码）
showswoller的博客
11-26 1127
PyTorch深度强化学习中蒙特卡洛策略梯度法在短走廊环境（CartPole-v0）中的实战（超详细 附源码）
Cartpole-V0-V1:Pytorch教程
04-17
用于解决Cartpole-V0和Cartpole-V1的Rl的不同方法 <iframe src =“ ” width =“ 100％” height =“ 300”> </ iframe>
深度Q网络：DQN项目实战CartPole-v0
华为云官方博客
06-25 789
相比于Q learning，DQN本质上是为了适应更为复杂的环境，并且经过不断的改良迭代，到了Nature DQN（即Volodymyr Mnih发表的Nature论文）这里才算是基本完善。
强化学习SAC算法、Qlearning在gym环境cartpole-q、mountain-car-q应用
07-25
MountainCar-v0环境稍微复杂一些，智能体需要驾驶一辆车爬上一个山坡，初始时车位于谷底，只能通过先向反方向行驶积累动能才能上山。由于环境的连续性和挑战性，它对于测试和比较不同的强化学习算法是很好的选择。 ...
强化学习——OpenAI Gym——环境理解和显示
12-21
在Python代码中，我们用`gym.make("CartPole-v0")`来定义使用CartPole环境。`unwrapped`函数用于去除环境的封装，以便更好地访问其内部属性。 `env.action_space`表示智能体可以采取的动作空间。对于CartPole环境，...
深度强化学习+DQN+Pytorch+CartPole-v0
07-14
基于Pytorch实现的DQN算法，环境是基于CartPole-v0的。在这个程序中，复现了整个DQN算法，并且程序中的参数是调整过的，直接运行。 DQN算法的大体框架是传统强化学习中的Q-Learning，只不过是Q-learning的深度学习版本。DQN的改进主要有三个： 1. DQN的行为值函数利用神经网络逼近； 2. DQN维护一个回放缓冲区，将每次从环境中采样得到的四元组数据存储到回放缓冲区中，训练 Q 网络的时候再从回放缓冲区中随机采样若干数据来进行训练； 3. DQN使用目标网络，使得算法的训练更加稳定。
基于 CartPole-v0 环境的强化学习算法实现
01-18
Cart Pole 在 OpenAI 的 gym 模拟器里面是相对比较简单的一个游戏。游戏里面有一个小车，上有 一根杆子。小车需要左右移动来保持杆子竖直。如果杆子倾斜的角度大于 15°，那么游戏结束。小车也不 能移动出一个范围（中间到两边各 4.8 个单位长度）。详细设计见md文件。
如何使用Python构建强化学习环境？
AI天才研究院
08-15 1312
强化学习（Reinforcement Learning，简称RL）作为人工智能和机器学习的重要分支，近年来在各个领域都取得了显著的成果。从围棋到机器人控制，从自动驾驶到推荐系统，强化学习的应用范围正在不断扩大。然而，要想成功应用强化学习算法，首先需要构建一个合适的环境，这个环境能够准确模拟实际问题，并为智能体提供学习和决策的平台。自定义环境通常需要实现与OpenAI Gym兼容的接口，以便与现有的强化学习算法和框架集成。状态空间和动作空间的定义奖励函数的设计环境动态的实现特定问题的约束和规则。
强化学习记录——PolicyGradient跑CartPole-v0
anlihuaer的博客
10-07 844
代码cr:MorvanZhou (Morvan) · GitHub 一、CartPole-v0环境介绍： 一根杆子由一个非驱动的关节连接到小车上，小车沿着无摩擦的轨道移动。这个系统是通过对小车施加+1或-1的力来控制的。钟摆开始直立，目的是防止它倒下。柱子保持直立的每一步将获得+1奖励。当电线杆与垂直的距离超过15度，或者车与中心的距离超过2.4个单位时，就结束了。 环境脚本：gym/gym/envs/classic_control at master · openai/gym · GitHu.
2.3 CartPole-v0使用cross-entropy方法
cxw的博客
01-10 1775
所有代码，可能会因为gym，pytorch甚至python版本的更迭输出可能会不同甚至可能失效，不要因为代码失效而刻意选择特定版本的库，最关键的是理解算法的本质和编程语言的基本特性 CartPole-v0相当于是gym中的Hello world环境 在python中创建该环境 import gym env = gym.make('CartPole-v0') 查看智能体可用的action env.action_space --- 输出是： Discrete(2) 也就是说action是离散的值，且只能在r
强化学习从基础到进阶-案例与实践[4.1]：深度Q网络-DQN项目实战CartPole-v0
丨汀、的博客
06-24 399
强化学习从基础到进阶-案例与实践[4.1]：深度Q网络-DQN项目实战CartPole-v0
强化学习--Cartpole-v0
最新发布
m0_74353888的博客
09-14 651
基本操作在gym库中，Env类是一个通用的环境接口，它定义了强化学习环境应该实现的方法。
强化学习_Actor Critic算法实现CartPole-v0
m0_68462260的博客
09-26 183
Actor通过Critic 给出的分数，去学习：如果 Critic 给的分数高，那么 Actor 会调整这个动作的输出概率；这使得 PG方法 的效率被限制。这里Q值定义正好就是action 之后获得的奖励期望有多大，Baseline是Q的求平均，也就是Q的期望，那么Q的期望正好是V。再进一步，reward 会向前传播，让智能体濒死状态之前状态时，不选择会进入濒死状态的动作，努力避免进入濒死状态。所以我们希望用 TD 代替 MC，可以不用回湖，每一步立马估算出来G值，可以把 AC 理解成PG的TD版本。
强化学习笔记（一）基于openAI gym CartPole-V0实现
热门推荐
zhangxiaofan的博客
04-14 1万+
强化学习笔记学习笔记（一）基于openAI gym CartPole-V0实现一、基础定义一、基于openAI gym CartPole-V0实例学习1、游戏背景2、代码实现2.1 测试CartPole环境中随机action的表现，作为baseline2.2 构建策略网络2.3 运行结果2.4 总结 一、基础定义 强化学习是机器学习的一个分支，主要用来解决时序决策问题。他可以在复杂的、不确定...
强化学习_03_表格方法实践(CartPole-v0 And MontoCarlo)
大道至简
12-15 4865
已经学好全部的表格方法训练Agent，所以，自己拿一个游戏环境进行智能体的训练。 一、选取游戏 打开 gym官网文档 ，里面就是对CartPole-v0的介绍，感觉这个游戏也挺有意思。但是这个游戏环境的状态是连续的。不过从游戏的画面看，参数空间应该不是很大，所以决定探索整个状态空间之后再决定是否更换游戏。 import gym import numpy as np import matplotlib.pyplot as plt env = gym.make('CartPole-v0') s = env.r
cartpole-v0源文件
11-15
CartPole-v0 是 OpenAI Gym 提供的一个经典的强化学习环境。它的源文件包括 Python 的 gym 库以及相关的依赖文件。 CartPole-v0 的源文件主要由以下几个部分组成： 1. 游戏逻辑：源文件中包含了 CartPole 游戏的逻辑，包括初始化游戏状态、更新游戏状态、判断游戏是否结束、计算奖励等。 2. 动力学模型：源文件中实现了 CartPole 的动力学模型，用于根据当前的状态和动作来预测下一个状态。这个模型具体的实现方式可能会使用物理模型、经验模型等。 3. 强化学习算法：源文件中可能会包含强化学习算法的实现，如 Q-learning、Deep Q Network (DQN) 等。这些算法用于训练智能体来学习如何在环境中进行决策，以实现最大化的奖励。 4. 状态空间和动作空间定义：源文件中还包含了 CartPole 的状态空间和动作空间的定义。状态空间是所有可能状态的集合，动作空间是智能体可以选择的动作的集合。在 CartPole-v0 中，状态空间和动作空间都是离散的。 5. 其他辅助函数：源文件中可能还包含一些辅助函数，如计算奖励、图形化显示等。 总的来说，CartPole-v0 的源文件提供了构建 CartPole 游戏环境的基本组件和方法，使得开发者可以基于这个环境进行强化学习算法的开发和测试。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

资源存储库

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值