【gym】【连续动作空间】【Bipedal Walker 双足助行器】

已于 2024-08-25 14:40:15 修改
阅读量934 收藏 18
点赞数 25
分类专栏： 算法 笔记 文章标签： 算法 笔记
于 2024-08-25 14:38:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wq6qeg88/article/details/141529086
版权

目录

Bipedal Walker 双足助行器

Description 描述

Action Space 动作空间

Observation Space观察空间

Rewards 奖励

Starting State 起始状态

Episode Termination回合终止

Arguments 参数#

Version History版本历史记录#

Bipedal Walker 双足助行器

../../../_images/bipedal_walker.gif

This environment is part of the Box2D environments. Please read that page first for general information.
此环境是 Box2D 环境的一部分。请先阅读该页面以获取一般信息。

Action Space

 动作空间

Box(-1.0, 1.0, (4,), float32)

Observation Shape 

状态形状

(24,)

Observation High 

状态上限

[3.14 5. 5. 5. 3.14 5. 3.14 5. 5. 3.14 5. 3.14 5. 5. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. ]

Observation Low 

状态下限

[-3.14 -5. -5. -5. -3.14 -5. -3.14 -5. -0. -3.14 -5. -3.14 -5. -0. -1. -1. -1. -1. -1. -1. -1. -1. -1. -1. ]

Import 

gym.make("BipedalWalker
最低0.47元/天 解锁文章
RL调参侠之BipedalWalker BipedalWalkerHardcore SAC
weixin_48370148的博客
03-08 1924
前几天用PPO训练了个很一般的agent： RL调参侠之BipedalWalker PPO 我看SpinningUp上面说PPO和SAC是两个领域里各自的State_of_the_art的方法，所以就打算跑SAC试试看，之前因为Open AI Five的原因，一直感觉PPO很牛掰，实际上现在很多自动驾驶的算法也是用PPO在跑，毕竟有一个“必定能够提升期望”的理论保证在这里，我理解这对做项目很大的诱惑。 不过我跑出来的结果明显是SAC更好。 调参侠时间 策略熵的权重alpha用的0.2，我一开始没有看SAC的
RL调参侠之BipedalWalker PPO
weixin_48370148的博客
03-04 2531
最近做图像算法做得胃疼，就打算找点强化学习的东西来看，之前看openAI做的dota2机器人感觉很牛掰，很感兴趣是怎么做的，所以从spinningUp开始看，感觉深度强化学习只是用了一下深度学习开发出来的工具，具体地说就是梯度计算，其他的东西都是自己的一套理论，深度学习里面各种亮瞎眼的网络结构设计，训练方法等等基本跟这边没什么关系。 最开始用CartPole和Pendulum这种简单的任务跑PPO,TD3,SAC这种高级一点的东西，都特别简单，但是如果是难一点的任务，比如BipedalWalker就不能随便
机器学习框架Ray -- 3.3 RLlib训练BipedalWalkerHardcore
wenquantongxin的博客
05-06 637
上一篇博客，主要针对BipedalWalker普通版进行了训练，相对来讲环境较为简单。训练timesteps在80M时，平均回合奖励就非常稳定了。BipedalWalkerHardcore环境则相对困难，对于算法、算力提出了更高的要求。Hardcore版本包含梯子、树桩和陷阱，需要在2000个时间步内获得300分。
DDPG使Bipedal Walker学会走路
qq_41816368的博客
07-06 1280
tensorflow ddpg 训练bipedal walker走路
【论文复现】一步步详解用TD3算法通关BipedalWalkerHardcore-v2环境
深度强化学习实验室：一个“开源开放、共享共进”的强化学习学术组织。
12-16 5062
深度强化学习实验室作者：辛靖豪(DeepRL-Lab研究员)编辑：DeepRL熟悉强化学习Gym环境的小伙伴应该对 (BWH-v2环境) BipedalWalkerHardcore-v...
Mujoco Humanoid环境介绍
fanpai的博客
07-16 1701
因此，如果您想报告接触力的结果，我们建议在使用Humanoid环境时使用Mujoco Py版本2.0）。dt是动作之间的时间，取决于frame_skip参数（默认值为5），其中帧时间为0.003，使默认值dt=5*0.003=0.015。如果机器人向前走（在正x方向上），这个奖励将是正的。观测由机器人的不同身体部位的位置值组成，然后是这些单独部位的速度（其导数），所有位置排在所有速度之前。（x，y，z）坐标是平移自由度，而方向是用四元数表示的旋转自由度。
使用gym环境时报错：AttributeError: module ‘gym.envs.box2d’ has no attribute ‘BipedalWalker’
qq_43010516的博客
05-16 1535
使用gym中"BipedalWalker-v3"环境的时候出现了如下报错： AttributeError: module ‘gym.envs.box2d’ has no attribute ‘BipedalWalker’ 解决办法： 1、下载swig包 在https://www.swig.org/download.html 下载swig包，解压保存在某路径，我安装在D:\swigwin-4.0.2 2、添加环境变量 pycharm中file -> settings -> Build, Ex
强化学习入门（二）
weixin_47987440的博客
01-22 1072
介绍名为价值迭代法的算法所需的术语。具体而言，将介绍奖励、动作价值、状态价值、贝尔曼方程、马尔可夫决策过程等术语。
【gym】【连续动作空间】【Pendulum 钟摆】
wq6qeg88的博客
08-25 1191
该系统由一个钟摆组成，该钟摆的一端连接到一个固定点，另一端是自由的。钟摆从一个随机位置开始，目标是在自由端施加扭矩以将其摆动到直立位置，其重心正好位于固定点上方。此环境是 Classic Control 环境的一部分，其中包含有关环境的一般信息。之间归一化的钟摆角度（其中 0 处于直立位置）。为单位测量的重力加速度，用于计算摆锤动力学。，而最大奖励为零（摆锤是直立的，速度为零，没有施加扭矩）。：摆锤末端的笛卡尔坐标，以米为单位。，表示施加到钟摆自由端的扭矩。Description 描述。
【gym】【连续动作空间】【Inverted Pendulum 倒立摆】
wq6qeg88的博客
08-25 1104
中所做的工作的 cartpole 环境，就像在经典环境中一样，但现在由 Mujoco 物理模拟器提供支持 - 允许进行更复杂的实验（例如改变重力的影响）。InvertedPendulum 没有 v3，这与 v3 及更高版本的机器人环境不同，v3 及更高版本需要 gym.make kwargs，例如 xml_file、ctrl_cost_weight、reset_noise_scale 等。状态空间由钟摆系统不同身体部位的位置值组成，然后是这些单独部位的速度（它们的导数），所有位置在所有速度之前排序。
【gym】【连续动作空间】【Mountain Car 山地车】
wq6qeg88的博客
08-25 1653
山地车 MDP 是一种确定性 MDP，它由一辆随机放置在正弦谷底部的汽车组成，唯一可能的动作是可以在任一方向上应用于汽车的加速度。gym 中的山地车域有两个版本：一个具有离散动作，另一个具有连续动作。范围的动作，power 是常数 0.0015。两端的碰撞都是无弹性的，与壁碰撞时速度设置为 0。位置被裁剪到 [-1.2， 0.6] 范围，力度被裁剪到 [-0.07， 0.07] 范围。的负奖励，以惩罚采取大幅度的操作。如果山地车达到目标，则在该时间步长的负奖励中增加 +100 的正奖励。
《TF2.x强化学习手册》P14-P26连续动作空间的神经网络强化学习以及Gym作为训练环境和构建神经网络智能体
yuri_sospiro的博客
07-14 1169
call函数是作为keras.Model的子类必须实现的方法，先将输入装换为TensorFlow2.x张量，再展平为1×total_number_of_elements形状的张量。policy_mlp()将输入的观测展平，并发送给智能体的大脑进行处理，以获得action_logits，即动作的非归一化概率。Agent类利用Brain类和一个简单的策略，其中神经网络对从环境获得的观测进行处理，而策略将根据神经网络的输出选择一个动作。构建完整的智能体和环境的交互循环，这是强化学习应用的主要组成部分。
机器人强化学习之使用 OpenAI Gym 教程与笔记
神奇的战士
07-30 1万+
机器人强化学习之使用 OpenAI Gym 教程与笔记 除了试图直接去建立一个可以模拟成人大脑的程序之外， 为什么不试图建立一个可以模拟小孩大脑的程序呢?如果它接 受适当的教育，就会获得成人的大脑。 — 阿兰·图灵 介绍 强化学习 (Reinforcement learning) 是机器学习的一个子领域用于制定决策和运动自由度控制。强化学习主要研究在复杂未知的环境中，智体(age...
MATLAB强化学习实战(十四) 基于 DDPG 智能体的四足机器人运动控制
wangyifan123456zz的博客
11-13 9126
基于 DDPG 智能体的四足机器人运动控制四足机器人模型创建环境接口创建 DDPG 智能体指定训练选项训练智能体智能体仿真参考 这个例子展示了如何训练四足机器人使用深度确定性策略梯度(DDPG)智能体行走。本例中的机器人使用 SimscapeTM MultibodyTM 进行建模。有关 DDPG 智能体的更多信息，请参见双延迟的深度确定性策略梯度智能体。 在 MATLAB 中将必要的参数加载到基本工作空间中。 initializeRobotParameters 四足机器人模型 这个例子的环境是一个四足机
机器学习框架Ray -- 3.2 RayRLlib训练BipedalWalker
wenquantongxin的博客
05-02 1562
RayRLlib训练BipedalWalker
在gym的BipedalWalker-v2环境里面训练了agent
tian_xuezhi的专栏
07-21 3925
https://v.youku.com/v_show/id_XNDI4MTc3MTU0NA==.html?spm=a2h3j.8428770.3416059.1 看起来真不让怎么样。 下面也奉上，最终的解决视频 https://raw.githubusercontent.com/dgriff777/a3c_continuous/master/demo/BPHC.gif ...
module 'gym.envs.box2d' has no attribute 'BipedalWalker'解决办法
lllxxq141592654的博客
05-11 1万+
这个问题解决方案找死我了。。先是说swig的问题，搞了半天应该不是；又说是box2d有问题，反复卸载安装了好几次，还是有问题。最后发现，确实是box2d有问题，需要安装某个版本。 pip3 install box2d box2d-kengz 链接：https://stackoverflow.com/questions/50037674/attributeerror-module-box2d-h...
gym环境错误：gym.error.UnregisteredEnv: No registered env with id: BipedalWalker-v2
热门推荐
Marshal Zheng的博客
03-15 1万+
gym环境错误：gym.error.UnregisteredEnv: No registered env with id: BipedalWalker-v2 During handling of the above exception, another exception occurred: Traceback (most recent call last): File "TD3_Biped...
强化学习实战（三）强化学习环境-gym环境--列表
小小何先生的学习之旅
08-30 8229
强化学习实战（三）强化学习环境-gym环境--列表
连续动作空间gym
最新发布
03-08
### 处理OpenAI Gym中的连续动作空间 在处理具有连续动作空间的任务时，如`Pendulum-v1`环境，通常采用的方法是通过特定算法来近似最优策略。对于此类问题，深度强化学习方法之一——Deep Deterministic Policy Gradient (DDPG)，是一种有效的方式[^4]。 #### 使用DDPG解决连续动作空间问题 DDPG结合了Q-learning的优点以及Actor-Critic架构，在面对连续控制任务上表现优异。下面是一个简单的例子展示如何设置并训练一个基于PyTorch框架下的DDPG模型： ```python import gymnasium as gym import torch from torch import nn import numpy as np class Actor(nn.Module): def __init__(self, state_dim, action_dim, max_action): super(Actor, self).__init__() self.l1 = nn.Linear(state_dim, 400) self.l2 = nn.Linear(400, 300) self.l3 = nn.Linear(300, action_dim) self.max_action = max_action def forward(self, x): x = torch.relu(self.l1(x)) x = torch.relu(self.l2(x)) x = self.max_action * torch.tanh(self.l3(x)) return x def evaluate_policy(policy, eval_episodes=10): env_name = 'Pendulum-v1' env = gym.make(env_name) avg_reward = 0. for _ in range(eval_episodes): obs, done = env.reset(), False while not done: action = policy(torch.FloatTensor(obs).unsqueeze(0)).cpu().data.numpy().flatten() obs, reward, terminated, truncated, info = env.step(action) done = terminated or truncated avg_reward += reward avg_reward /= eval_episodes print("---------------------------------------") print(f"Evaluation over {eval_episodes} episodes: {avg_reward:.3f}") print("---------------------------------------") env.close() return avg_reward ``` 此代码片段展示了创建actor网络的过程，并定义了一个评估函数用于测试已训练好的policy性能。为了完整实现DDPG还需要构建critic网络、经验回放机制以及其他组件。 #### 关键挑战与解决方案 当涉及到连续动作空间时，存在几个主要的技术难题需要克服，比如探索-利用困境（exploration-exploitation dilemma），即如何平衡尝试新行为和重复已知良好行为之间的关系；还有延迟奖励的问题，这指的是即时反馈可能无法立即反映长期效果，因此需要设计有效的信用分配方案以促进更好的决策过程[^5]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

资源存储库

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值