具身智能之Isaac Gym使用

已于 2024-12-24 22:06:36 修改
阅读量1.7w 收藏 80
点赞数 34
分类专栏： 具身智能 文章标签： 机器学习 自动驾驶
于 2024-11-19 20:11:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lovely_yoshino/article/details/142828411
版权

0. 简介

关于UCloud(优刻得)旗下的compshare算力共享平台
UCloud(优刻得)是中国知名的中立云计算服务商，科创板上市，中国云计算第一股。
Compshare GPU算力平台隶属于UCloud，专注于提供高性价4090算力资源，配备独立IP，支持按时、按天、按月灵活计费，支持github、huggingface访问加速。
使用下方链接注册可获得20元算力金，免费体验10小时4090云算力
https://www.compshare.cn/?ytag=GPU_lovelyyoshino_Lcsdn_csdn_display

Isaac Gym 是由 NVIDIA 提供的一个高性能仿真平台，专门用于大规模的机器人学习和强化学习（RL）任务。它结合了物理仿真、GPU加速、深度学习框架互操作性等特点，使得研究人员和开发者可以快速进行复杂的机器人仿真和训练。 Isaac Gym 的深度强化学习物理模拟环境，其可以可以导入URDF和MJCF文件，因此可以在不转换的情况下使用MuJoCo等中使用的模型。在使用MuJoCo和PyBullet等物理模拟环境的深度强化学习中，在GPU上模拟的信息被传递到CPU端，并根据CPU上接收到的信息计算观察和奖励。 重复该过程以在模拟环境中进行学习。 因此，为了加快学习速度，就存在CPU和GPU之间的瓶颈以及需要大型CPU集群等问题。而且Isaac Gym通过仅使用 GPU 执行这些过程，成功解决了上述问题并提高了速度。相关的API的使用可以参考Isaacgym使用操作指南里面的内容。

最近具身智能也是一个大热的方向。这里最近受到优刻得的使用邀请，正好解决了我在大模型和自动驾驶行业对GPU的使用需求。UCloud云计算旗下的Compshare的GPU算力云平台。他们提供高性价比的4090 GPU，按时收费每卡1.88元，并附带200G的免费磁盘空间。暂时已经满足我的使用需求了，同时支持访问加速，独立IP等功能，能够更快的完成项目搭建。此外对于低性能的还有3080TI使用只需要0.88元，已经吊打市面上主流的云服务器了

在这里插入图片描述

1. Isaac Gym环境安装

首先我们先来安装Isaac Gym环境，对应的下载链接为：Isaac Gym - Preview Release | NVIDIA Developer。对应的环境配置需求为：

  • Ubuntu 18.04 或是 20.04
  • Python版本3.6, 3.7 or 3.8.
  • 最低显卡驱动版本：Linux: 470
  • cuda版本：11.6
    在这里插入图片描述

相关的CUDA和CUDNN的配置这里我们就不展开了，想要详细了解的请参考《从BEVDET来学习如何生成trt以及如何去写这些C++内容》。然后我们就简略写一下安装步骤

sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt update
sudo apt install nvidia-driver-510
sudo vim /etc/apt/sources.list
# 然后在最后一行添加：deb [arch=amd64] http://archive.ubuntu.com/ubuntu focal main universe
sudo apt-get install gcc-7 g++-7
 
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-7 9
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-9 1
 
sudo update-alternatives --display gcc     //查看默认版本
 
sudo update-alternatives --install /usr/bin/g++ g++ /usr/bin/g++-7 9
sudo update-alternatives --install /usr/bin/g++ g++ /usr/bin/g++-9 1
 
sudo update-alternatives --display g++

wget https://developer.download.nvidia.com/compute/cuda/11.6.0/local_installers/cuda_11.6.0_510.39.01_linux.run
sudo sh cuda_11.6.0_510.39.01_linux.run
sudo vim ~/.bashrc
export LD_LIBRARY_PATH=/usr/local/cuda-11.6/lib64:/usr/local/cuda-11.6/extras/CPUTI/lib64
export CUDA_HOME=/usr/local/cuda-11.6/bin
export PATH=$PATH:$LD_LIBRARY_PATH:$CUDA_HOME
source ~/.bashrc
# 然后重启，并安装cudnn

# 进入https://developer.nvidia.com/rdp/cudnn-archive下载指定版本，然后安装，这选用的是8.6的cudnn，参考：https://blog.csdn.net/shanglianlm/article/details/130219640
sudo dpkg -i cudnn-local-repo-ubuntu2004-8.6.0.163_1.0-1_amd64.deb 
sudo cp /var/cudnn-local-repo-*/cudnn-local-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get install libcudnn8=8.6.0.163-1+cuda11.8
sudo apt-get install libcudnn8-dev=8.6.0.163-1+cuda11.8
sudo apt-get install libcudnn8-samples=8.6.0.163-1+cuda11.8

在这里插入图片描述
然后下面就对下载好的IsaacGym_Preview_4_Package.tar.gz进行解压，格式为：
在这里插入图片描述

然后开始编译

tar -zxvf IsaacGym_Preview_4_Package.tar.gz
cd isaacgym
./create_conda_env_rlgpu.sh

在这里插入图片描述
要检查 Isaac Gym 是否正常工作，请运行 isaacgym/python/examples 目录中的 joint_monkey.py。 如果设置正确，人形模型将移动其四肢

可以通过下面的指令激活，并测试

# 激活环境
conda activate rlgpu
sudo add-apt-repository ppa:deadsnakes/ppa
sudo apt-get update
sudo apt install libpython3.7
export LD_LIBRARY_PATH=$HOME/miniconda3/envs/rlgpu/lib
# 正常情况下这时候可以运行实例程序/isaacgym/python/examples/joint_monkey.py
python joint_monkey.py
# 可以通过--asset_id命令控制显示的模型
python joint_monkey.py --asset_id=6

在这里插入图片描述
“Isaac Gym”没有反应
运行示例代码（例如 joint_monkey.py）时，Isaac Gym 屏幕可能不会显示。 这是因为一些集成英特尔显卡（例如英特尔 UHD 显卡）的 PC 系统中并未使用 NVIDIA 的 GPU。 请输入以下命令以使用 NVIDIA GPU。

sudo prime-select nvidia
export VK_ICD_FILENAMES=/usr/share/vulkan/icd.d/nvidia_icd.json

通过在~/.bashrc中写入上述命令export VK_ICD_FILENAMES=/usr/share/vulkan/icd.d/nvidia_icd.json，可以省去每次输入命令的麻烦。

可视化界面可以参考：《通过VNC搭建Ubuntu 18.04和20.04图形界面》

sudo vim /etc/apt/sources.list
# 添加  deb http://archive.ubuntu.com/ubuntu/ bionic universe
sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys 3B4FE6ACC0B21F32
# sudo apt-get install -y vnc4server # ubuntu18
sudo apt-get install tightvncserver # ubuntu20
sudo apt update
sudo apt-get upgrade
sudo apt-get install snapd
sudo apt-get install -y x-window-system-core  gdm3 
sudo apt install ubuntu-desktop#如果不执行，则关机重新从sudo apt-get upgrade这一行开始执行
#sudo apt install xubuntu-desktop
sudo apt install xrdp
sudo systemctl status xrdp
sudo apt-get install -y gnome-panel gnome-settings-daemon metacity nautilus gnome-terminal
vncserver

然后修改sudo vim ~/.vnc/xstartup文件，这里还需要虚拟屏幕设置ubuntu18.04服务器配置VNC解决去掉显示器之后黑屏大鼠标问题：

#!/bin/sh
# Uncomment the following two lines for normal desktop:
# unset SESSION_MANAGER
# exec /etc/X11/xinit/xinitrc

[ -x /etc/vnc/xstartup ] && exec /etc/vnc/xstartup
[ -r $HOME/.Xresources ] && xrdb $HOME/.Xresources
xsetroot -solid grey
vncconfig -iconic &
x-terminal-emulator -geometry 1920x1080 -ls -title "$VNCDESKTOP Desktop" &
x-window-manager &

#gnome-terminal &

sesion-manager & xfdesktop & xfce4-panel &
xfce4-menu-plugin &
xfsettingsd &
xfconfd &
xfwm4 &
metacity &
nautilus &

然后设置重启

sudo chmod +x ~/.vnc/xstartup
vncserver -kill :1
vncserver -geometry 1920x1080 :1

在这里插入图片描述
由于优刻得开通了端口，所以也可以通过vnc-viewer连接了
在这里插入图片描述

1.2 docker中通过VNC搭建Ubuntu图形界面

软件安装
更新本地软件包
apt update
安装远程图形界面&轻量化桌面
# 安装较为耗时，预计5-10min
apt  install -y dbus-x11 xorg openbox xfce4 xfce4-goodies tightvncserver
语言选择

在安装中，需要选择对应语言
在这里插入图片描述

在这里插入图片描述

依赖项配置
环境变量

NOTE

后续容器会默认添加-e USER=root设置，此步骤可忽略

export USER=root
dbus-launch启动

NOTE

在软件安装中dbus-x11是启动dbus-launch依赖包，若出现启动失败，可重新apt install dbus-x11进行安装

dbus-launch
VNC配置
密码设置

NOTE

  1. 密码为6-8位
  2. 只读模式设置为n

在这里插入图片描述

# 1.运行
vncserver
# 2.密码设置，使用6-8位作为密码，超过会被自动截取
# 3.密码确认，输入和设置的同一个密码即可
# 4.在最后进行view-only选择时，需要选择【n】并输入回车
修改启动文件

启动文件备份

cp ~/.vnc/xstartup ~/.vnc/xstartup.bak

修改文件内容

echo "startxfce4 &" >> ~/.vnc/xstartup
chmod +x ~/.vnc/xstartup
VNC重启
# 1.关闭在密码设置中启动的VNC进程
vncserver -kill :1
# 2.重新启动vncserver
vncserver -geometry 1920x1080
# xauth: (argv):1:  bad display name "b9732a281594:1" in "add" command
# New 'X' desktop is b9732a281594:1
# Starting applications specified in /root/.vnc/xstartup
# Log file is /root/.vnc/b9732a281594:1.log
VNC端口占用说明

  1. 默认使用端口为5900+启动编号，例如：在执行启动命令vncserver -geometry 1920x1080后，在log中提示New 'X' desktop is b9732a281594:1则表示，此进程在启动编号:1下执行,则此时占用端口号为5901。若后续需要使用VncViewer工具进行连接，防火墙必须打开5901端口号

  2. 也可通过命令进行检查端口

(base) root@b9732a281594:/# ss -tuln | grep 590
tcp   LISTEN 0      5            0.0.0.0:5901       0.0.0.0:*
VncViewer连接

IMPORTANT

容器内VncServer服务对应防火墙端口必须打开

官网工具下载

https://www.realvnc.com/en/connect/download/viewer/

桌面连接
  1. File -> New connection
  2. 创建连接配置如下

  • VncServer: EIP(外网访问地址):VncServer服务端口号

  • Name：自定义名称

在这里插入图片描述

  1. 双击选择刚刚创建的connection

在这里插入图片描述

  1. 输入在vncserver密码初始化时填入的密码

在这里插入图片描述

  1. 登录成功

在这里插入图片描述

Chrome浏览器配置
浏览器打开报错

在这里插入图片描述

谷歌浏览器安装
wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb
apt install -y ./google-chrome-stable_current_amd64.deb
VNC桌面进行浏览器替换

WARNING

此步骤须桌面的Terminal中进行操作，具体步骤如下

  1. 执行xfce4-settings-manager会出现如下弹窗选择

在这里插入图片描述

  1. 选择 Default Applications
  2. 在 Web Browser中选择Other选项

在这里插入图片描述

  1. 输入：/usr/bin/google-chrome --no-sandbox保存即可

  2. 打开默认浏览器即可

在这里插入图片描述

使用Web浏览器连接远程桌面

TIP

针对于不想安装VncViewer用户，可以选择使用Web浏览器直接访问远程桌面

noVNC下载

项目下载

# noVnc下载
git clone https://github.com/novnc/noVNC.git /usr/lib/noVNC
chmod +x /usr/lib/noVNC/utils/*
noVNC启动
# 启动代理服务，并后台运行
/usr/lib/noVNC/utils/novnc_proxy --vnc localhost:5901 &

# 打印日志如下，端口号默认监听：6080
Using installed websockify at /root/miniconda3/bin/websockify
Starting webserver and WebSockets proxy on port 6080
WebSocket server settings:
  - Listen on :6080
  - Web server. Web root: /usr/lib/noVNC
  - No SSL/TLS support (no cert file)
  - proxying from :6080 to localhost:5901


Navigate to this URL:

    http://b9732a281594:6080/vnc.html?host=b9732a281594&port=6080

Press Ctrl-C to exit
web页面连接使用

NOTE

必须保证对应的6080端口防火墙打开！！！

  1. 浏览器访问 http://${外网EIP地址}:6080/vnc.html
  2. 点击页面连接按钮
  3. 输入vncserver设置的密码

在这里插入图片描述

2. 对应文档

2.1 官方文档资源

  1. NVIDIA Omniverse 全站文档

    • 网址: https://docs.omniverse.nvidia.com/
    • 内容: 包含 NVIDIA Omniverse 的全面文档资源。

  2. Isaac Sim 开发者文档

    • 网址: https://developer.nvidia.com/isaac/sim
    • 内容: 提供了针对 Isaac Sim 的开发者文档，帮助开发者了解和使用 Isaac Sim。

  3. Omniverse 开发者文档

    • 网址: https://docs.omniverse.nvidia.com/dev-guide/latest/index.html
    • 内容: Omniverse 的开发者文档，涵盖了最新的内容和指南。

  4. Isaac Lab 文档

    • 网址: https://isaac-sim.github.io/IsaacLab/
    • 内容: Isaac Lab 的文档资源，可能包含与 Isaac Sim 相关的实验室信息。

  5. Isaac Sim API 参考文档

    • 网址: https://docs.omniverse.nvidia.com/py/isaacsim/index.html
    • 内容: 提供了 Isaac Sim API 的参考文档，帮助开发者了解如何使用 Isaac Sim 的编程接口。

  6. ROS/ROS2 教程

    • 网址: https://docs.omniverse.nvidia.com/isaacsim/latest/ros_ros2_tutorials.html
    • 内容: 包含了与 ROS/ROS2 相关的教程，帮助开发者在 Isaac Sim 中进行 ROS/ROS2 的开发和集成。

2.2 AI 仓库与视觉导航

  1. Isaac ROS SLAM

    • GitHub链接: https://github.com/NVIDIA-ISAAC-ROS/isaac_ros_visual_slam
    • 内容: 提供了功能强大的视觉导航工具，特别适用于工业自动化和复杂环境中的导航任务。

  2. Isaac ROS 3D Scene Reconstruction

    • GitHub链接: https://github.com/NVIDIA-ISAAC-ROS/isaac_ros_realsense
    • 内容: 包含了基于 GPU 加速的视觉 SLAM 算法，用于定位、地图构建和路径规划。

2.3 视频教程与资料下载

  1. 教程视频

    • 提取链接: 百度网盘链接（提取码：kvq7）
    • 内容: 提供了详细的操作步骤和功能讲解，适合初学者学习 Isaac Sim。

  2. GitHub 教程与代码仓库

    • Isaac Sim ROS Workspaces: https://github.com/isaac-sim/IsaacSim-ros_workspaces
    • Isaac ROS GEMs: https://github.com/NVIDIA-AI-IOT/Nav2-with-Isaac-ROS-GEMs
    • 内容: 包含了与 Isaac Sim 相关的代码仓库和教程资源。

2.4 深入学习与实用技巧

  1. 开发环境搭建

    • 内容: 根据文档和 GitHub 教程，开发者可以快速搭建 Isaac Sim 与 ROS 的集成工作空间。

  2. 视觉导航和 SLAM 技术应用

    • 内容: 开发者可以利用 NVIDIA 提供的 SLAM 和 3D 重建代码库，实现复杂环境下的导航任务。

  3. Replicator 环境生成

    • 内容: Replicator 是 Isaac Sim 的一部分，可用于生成各种工业环境的模拟场景，帮助开发者验证机器人系统在虚拟环境中的表现。

3. 强化学习和Isaac Gym

下面我们来试一下Isaac Gym基础训练环境安装，对应提供的提供深度强化学习示例为：

git clone https://github.com/NVIDIA-Omniverse/IsaacGymEnvs.git
conda activate rlgpu
cd IsaacGymEnvs
pip install -e .
#cuda11.6 安装pytorch1.12，更换国内源
pip install torch==1.13.0+cu116 torchvision==0.14.0+cu116 torchaudio==0.13.0 --extra-index-url https://download.pytorch.org/whl/cu116

# 尝试训练
python train.py task=Ant
# 不显示动画只训练
python train.py task=Ant headless=True
# 测试训练模型的效果，num_envs是同时进行训练的模型数量
python train.py task=Ant checkpoint=runs/Ant/nn/Ant.pth test=True num_envs=64

在这里插入图片描述

Isaac Gym Benchmark文件交互逻辑

项目的文件目录构成
在这里插入图片描述
对应含义为：

assets：放置模型文件，官方文件显示目前支持加载URDF和MJCF文件格式。
docs：说明文档
isaacgymenvs：代码主目录
cfg：参数文件
learing：训练的算法文件
pbt：Population-Based Training 说明文档
run：训练的统计文件和模型文件
tasks：不同任务对用的训练方法文件
utils：通用工具文件

4. 第三方拓展宇树机器狗

无论是人型机器人：
在这里插入图片描述
还是机器狗：
在这里插入图片描述
其基本都是基于Isaac Gym平台，并加入自己的算法和模型，来完成强化学习训练。这里我们来看一下机器狗的工程

git clone https://github.com/Improbable-AI/walk-these-ways.git
conda activate rlgpu
cd walk-these-ways
pip install -e .
# 测试
python scripts/test.py
# 训练
python scripts/train.py

本文使用的代码结构是改编自legged_gym工程，如果想要在训练结束后继续上次的训练,可以参考这篇文章，这里就不展开写了
在这里插入图片描述
在这里插入图片描述

5. 参考链接

https://blog.csdn.net/weixin_44061195/article/details/131830133
https://blog.csdn.net/weixin_44061195/article/details/132830367
https://blog.csdn.net/qq_38023194/article/details/140874763

Python NVIDIA Isaac机器人平台开发教程之 02 Isaac Gym高性能GPU驱动算法集 实现端到端 GPU 加速物理模拟
iCloudEnd的博客
04-01 2379
什么是Isaac Gym Isaac Gems 是高性能 GPU 驱动算法的集合，可加速机器人应用程序的开发。 例如，用于传感、规划和驱动的模块可以轻松插入到机器人应用程序中，如障碍物检测、人类语音识别等。还有 Isaac 导航堆栈可以添加到您的机器人中，用于机器人导航应用程序。 如何应用Isaac Gym 近年来，深度强化学习 (DRL) 已成为热门研究领域，它在从战略和计算机游戏到机器人训练等复杂决策问题上取得了超人的表现。 尽管取得了成功，但 DRL 的可扩展性仍然受到两个关键瓶颈的阻碍：巨大的计算需
isaac gym使用记录
weixin_41652700的博客
02-22 1260
运行倒立摆任务，运行一会就可以收敛。headless设置为True可以无图像输出 test代表测试模式，num_envs是指定环境数量，checkpoint是模型的地址
isaacgym(legged_gym)学习 （一）—— 添加自己的机器人模型并训练
weixin_45315065的博客
01-01 9662
例如：isaacgym系列学习记录。这里默认已经安装好isaacgym学习环境，并可以成功运行其中的案例legged_gym, 整体来说对于快速上手还是很友好的。
Isaacgym的一些特性以及简单的代码分析拆解
2302_80751833的博客
03-10 1148
有了这些物理规则属性，才能和我们现实世界的力的情况一样。具体的使用大家可以参考。
Isaacgym使用操作指南
Tony Wey的博客
08-02 7126
Isaac Gym 是一个强大的仿真工具，特别适合那些需要进行大规模并行仿真和训练的机器人和强化学习任务。通过 GPU 加速、深度学习集成和丰富的物理仿真能力，Isaac Gym 能够显著提高仿真和训练效率，是机器人学和 AI 研究中的一大利器。
使用Isaac Gym 来强化学习大象机器人mycobot 机械臂执行抓取任务
m0_71627844的博客
07-03 1万+
这一次，我使用 Isaac Gym 创建了一个强化学习任务，并实际训练了模型。我在 3D 物理模拟器中体验了机器人强化学习问题的设计以及运行训练模型时出现的问题。能够测试学习环境而不必从头开始编写强化学习算法很有吸引力。基准环境的可用性使得比较和验证新的学习算法变得容易，这对于具有各种专业背景的研究人员和分析师来说是一个很大的优势。
Isaac Gym, Sim, Lab
weixin_61044335的博客
12-11 3302
isaac lab 学习笔记
Isaac Gym安装及使用教程
lilbetter的博客
03-26 2301
Nvidia - isaacgym 安装及相关问题解决
Isaac Gym及范例环境安装
weixin_43293404的博客
01-17 9471
Ubuntu20.04，找到 libpython3.7m.so.1.0 的所在位置（如果是按照上述isaacgym安装方法二，root安装的，则该文件在rlgpu的lib下）这样会创建一个新的conda环境，名为rlgpu（根据官方安装说明，该环境名称是可以在配置文件中修改的）安装后可能会出现如下警告，这是由于在根目录下运行导致的，不影响。克隆到isaacgym文件夹，在根目录下执行下述命令进行安装。出现如下图所示的界面, 表示安装成功。出现如下图所示的界面, 表示安装成功。官方安装说明位于下述路径中。
issac lab VS isaac gym envs、omni isaac gym envs？（调研+亲身体验）
weixin_65489379的博客
08-15 2581
本文基于之前进行一次整理的调研工作（不过现在基本上每个框架我也都用过），想着写的还挺详细的整理一下分享不过肯定还要很多疏漏和不足之处，还多多望批评指正！
Ubuntu20.04环境中基于Isaac gym的足式机器人环境部署【经验证】
具身智能机器人
12-05 1180
解释：这个问题是由于使用了已弃用的NumPy别名np.float. 在NumPy 1.20.0及以后的版本中，使用内置Python类型（如float）的别名已经不再被支持。去pytorch官网下载与安装cuda版本最接近的pytorch：pytorch官网。【创建虚拟环境，需要注意的是后面的依赖都要统一在相同虚拟环境中】★★【强烈建议自行安装自己的显卡对应的版本】★★。运行例程验证安装效果。
【机器人技术】基于NVIDIA Isaac Gym的人形机器人GR-2训练：提升现实任务适应性与AI决策能力
最新发布
04-16
内容概要：文章介绍了上海傅利叶公司利用NVIDIA Isaac Gym（现正逐步迁移至Isaac Lab）训练其新一代人形机器人GR-2的过程。GR-2继承并超越了前代产品GR-1，拥有更优秀的硬件设计与灵活性。借助Isaac Gym强大的仿真...
基于 Isaac Gym 环境的 HighTorque 腿式机器人的强化学习环境.zip
04-29
在本文中，我们将深入探讨如何在 Isaac Gym 模拟环境中为 HighTorque 腿式机器人构建强化学习（RL）环境，重点使用 Python 进行编程。Isaac Gym 是 NVIDIA 提供的一个高性能仿真平台，专为机器人和自动驾驶汽车的...
Isaac Gym学习笔记——概述
qq_43309940的博客
11-07 989
Isaac Gym 允许开发人员为基于物理的系统试验端到端 GPU 加速 RL。在 Isaac Gym 中，仿真可以在 GPU 上运行，并将结果存储在 GPU 张量中，而不是将它们复制回 CPU 内存。其提供了一个基于张量的 API 来访问这些结果，允许在 GPU 上进行 RL 观察和奖励计算。这种组合可以在单个GPU上同时模拟数千个环境，从而可以在单个工作站上运行以前可能需要整个数据中心运行的实验。
Ubuntu20.04 安装 Isaac Gym （机器人仿真）
冀晓武的博客
08-12 2256
在ubuntu20.04 上安装NVIDIA 开发的基于GPU的机器人仿真平台 Isaac Gym。
IsaacGym四足机器人sim to real全过程详细解析（walk these ways方法）
热门推荐
weixin_44061195的博客
10-09 1万+
本文使用强化学习的方法运行到Aliengo机器人上完成从训练到部署的全过程。该方法使用的是GO1机器人提供了完整的sim to real代码和遥控器控制代码，所以我们只需要重新训练和部署健康就可以使用在Aliengo上。该方法使用lcm进行通讯首先程序通过UDP和机器人控制板进行通讯获取机器人状态并下达指令。然后又通过lcm进行机器人状态信息的发布和模型命令的获取。
issac gym安装与运行 (一)
weixin_50920579的博客
12-05 4911
目录1.安装1.1 下载​编辑 1.2 安装.2 初步运行2.1 demo1.3 官方demo3.1 下载及安装3.2 demo启动3.3 加载训练好的模型其他 References：nIsaac-gym(1): 安装及官方demo内容_hongliyu_lvliyu的博客-CSDN博客_isaac安装NVIDIA Isaac Gym安装与使用 - BLMontgomery - 博客园https://github.com/NVIDIA-Omniverse/IsaacGymEnvsIsaac Gym - Pr
Isaac Gym 3. 基础总结
black0moonlight的博客
05-06 4349
近期使用isaac gym，所以对一些使用进行汇总。
isaacgym(legged_gym)学习 （二）—— 设置环境地形
weixin_45315065的博客
01-08 7757
如何设置isaacgym中的环境地形，来实现特殊任务需要的训练！！！！文件中我们可以不用管这个。mesh_type = 'trimesh' # 地形网格类型：'trimesh'（三角形网格），可选值包括 'none', 'plane', 'heightfield', 'trimesh'horizontal_scale = 0.1 # 水平缩放比例，单位：米vertical_scale = 0.005 # 垂直缩放比例，单位：米border_size = 25 # 边界大小，单位：米。
isaac gym训练
01-04
### 使用 Isaac Gym 进行训练 #### 安装依赖项 为了确保能够顺利使用 Isaac Gym，需先安装必要的软件包。考虑到特定版本兼容性问题，建议按照如下方式设置开发环境： ```bash conda install setuptools==58.0.4 ``` 这一步骤有助于避免因 `setuptools` 不兼容带来的潜在错误[^4]。 #### 配置 Isaac Gym 环境 Isaac Gym 是由 NVIDIA 开发的高性能仿真平台，专为大规模机器人学习和强化学习设计。该工具利用 GPU 加速技术显著缩短了训练周期，并优化了 CPU 和 GPU 间的数据传输效率，从而克服传统方法中的性能瓶颈[^3]。 #### 编写训练脚本 编写 Python 脚本来定义机器人的行为模式及其交互逻辑。下面是一个简单的例子来展示如何初始化 Isaac Gym 并启动一个基本的学习循环： ```python import isaacgym # 导入 IsaaccGym 库 from elegantrl.envs.isaac_gym import ant_env # 假设是从 ElegantRL 中引入 Ant 环境 def train_ant_robot(): env = ant_env.AntEnv() # 创建 Ant 仿真实例 try: while True: obs = env.reset() done = False while not done: action = ... # 计算动作策略 obs, reward, done, info = env.step(action) # 更新模型参数... finally: env.close() if __name__ == "__main__": train_ant_robot() ``` 这段代码展示了怎样创建一个名为 "Ant" 的虚拟生物体实例，并在一个无限循环内执行重置、采取行动及接收反馈的过程直到完成一次完整的回合。实际应用时应替换省略号部分以实现具体的算法细节[^1]。 #### 性能调优与超参调整 鉴于 GPU 上的大规模并行处理能力，当采用像 Isaac Gym 这样的高效模拟器时，可能会发现某些传统的强化学习超参数不再适用。因此，在实践中应当积极探索新的配置组合，比如增加每批次样本数量或是修改探索率衰减曲线等，以便充分利用硬件资源获得最佳效果。
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

敢敢のwings

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值