Isaac Sim+SKRL机器人并行强化学习

scutrobot

已于 2024-11-28 22:21:50 修改

阅读量3.1w

点赞数 74

文章标签：机器人

于 2024-11-14 20:22:23 首次发布

本文链接：https://blog.csdn.net/sinat_34156619/article/details/143775190

版权

Isaac Sim介绍

Isaac Sim是英伟达出的一款机器人仿真平台，适用于做机器人仿真。同类产品包括mujoco，vrep和pybullt等，它的主要优势就是可以做并行强化学习仿真，这对于提高训练效率是非常有好处的。

作者使用的版本是：ISAAC SIM 2023.1，因为isaac sim每次版本的迭代变化都很大，而isaac 4.0 又是大更改，因此我还是在2023.1版本上进行测试的。

之前使用isaac sim没有进行并行化训练，原因就是如果想用并行化训练单纯使用isaac sim是搞不出来的，还要搭配另外的环境，例如2023.1就要使用OmniIsaacGymEnvs，或者ORbit。如果是4.0的用户就是使用isaac lab了。

OmniIssacGymEnvs安装

IsaacGymEnvs的安装非常简单，按照官方仓库readme安装即可

GitHub - isaac-sim/OmniIsaacGymEnvs: Reinforcement Learning Environments for Omniverse Isaac Gym

OmniIsaacGymEnvs 提供了很多经典的强化学习训练场景，最典型的就是Cartpole环境了。

安装步骤：

1. git clone https://github.com/NVIDIA-Omniverse/OmniIsaacGymEnvs.git 下载仓库

2. 将默认执行的python设置为Isaac sim环境执行的python

For Linux: alias PYTHON_PATH=~/.local/share/ov/pkg/isaac_sim-*/python.sh
For Windows: doskey PYTHON_PATH=C:\Users\user\AppData\Local\ov\pkg\isaac_sim-*\python.bat $*
For IsaacSim Docker: alias PYTHON_PATH=/isaac-sim/python.sh

3.安装 omniisaacgymenvs 模块

PYTHON_PATH -m pip install -e .

按照官方的指示，这样就可以把仓库安装好了，然后执行，就可以测试官方给的例程。

PYTHON_PATH scripts/rlgames_train.py task=Cartpole

但是注意到，这里用的是rlgames作为强化学习的库，这并不是一个常见的库，实际上英伟达自己在论坛上在推行一个叫做SKRL的库。

SKRL安装与测试

SKRL网址：Examples - skrl (1.3.0)

SKRL是英伟达自己推荐的一个强化学习库，它的优势在于可以无缝衔接英伟达自己的并行仿真环境，虽然说训练效果可能不如SB3好，但是它适配了啊。并且在使用多智能体的时候训练速度也是挺快的。

pip install skrl["torch"]

SKRL的安装按照官方的教程直接装就可以了。

这里需要特别注意的是OIGE的配置文件和rlgame是不一样的，具体可以参考官方给出的example，在yaml文件中要做一些修改。

把skrl官方提供的yaml文件下载下来，并使用它给出的python文件运行，就可以将官方给的demo跑起来了。

这里作者使用的GPU是4060TI 16G的版本

在环境中设置了4096个agent，运行起来还是非常顺畅的，训练了1600个回合，只花了1分钟左右

另外，官方提供了headless可选性，当headless设置成True时，就不会显示界面，这时候运行速度会更加快，1600个回合只需要15秒钟不到的时间即可完成。

可以看到，SKRL与omni isaac gym的衔接还是比较OK的，至少官方给出的例程运行起来是没什么问题的。

基于UR5的机械臂Reach强化学习测评

机器人控制

在测试完官方给出的环境后，肯定是希望可以测试下自己的环境。作者自己使用的是UR5机械臂，isaac sim中本身已经提供了这一款机械臂了，所以模型直接下载下来就可以，是usd格式的模型。

在机器人控制方面，官方提供的是RMPFLOW的轨迹规划库，但是RMPFLOW本身要配置很多东西，官方只提供了UR10的配置文件，因此这里我选用了最简单的控制方法。在网上下载了UR5的urdf文件，然后使用ikpy函数库读取urdf文件，并进行逆运动学求解，把求解出来的关节角度再下发到模型中。这里提供我写的UR5函数控制类作为参考：


from typing import Optional

import carb
import numpy as np
import torch
from omni.isaac.core.robots.robot import Robot
from omni.isaac.core.utils.nucleus import get_assets_root_path
from omni.isaac.core.utils.stage import add_reference_to_stage
from omni.isaac.core.articulations import ArticulationView,Articulation
from omni.isaac.core.utils.types import ArticulationAction, ArticulationActions
from common import MatrixProcess as mp
from omni.isaac.core.prims import RigidPrim, RigidPrimView,XFormPrimView
import common.robot.Urik as urik
from common.robot.Ur5ik import Kinematic
import logging
class UR5(Robot):
    def __init__(
            self,
            prim_path: str,
            ik_urdfPath:str,
            name: Optional[str] = "UR5",
            tcpOffset_pose=np.array([0,0,0]),
            tcpOffset_ori=np.array([1,0,0,0]),
            usd_path: Optional[str] = None,
            translation: Optional[np.ndarray] = None,
            orientation: Optional[np.ndarray] = None,
    ) -> None:
        self._usd_path = usd_path
        self._name = name
        if self._usd_path is None:
            self._usd_path = "C:\\Users\\Administrator\\AppData\\Local\\ov\\pkg\\gym\\OmniIsaacGymEnvs\\omniisaacgymenvs\\robots\\myrobots\\model\\ur5_modify.usd"
            print("=== _usd_path=", self._usd_path)

        add_reference_to_stage(self._usd_path, prim_path)

        super().__init__(
            prim_path=prim_path,

最低0.47元/天解锁文章