在系列教程(二) 自定义机器人中,我们介绍了如何导入自定义机器人的usd并且进行设置,这些定义好的自定义机器人类在强化学习环境中可以直接引用。接下来,我们将进行强化学习环境(env)部分的设置。
1.1 强化学习环境创建:Direct方式
IsaacLab提供了两种组织强化学习环境的方式,一种叫Direct,一种叫manager_based,这两种方式各有优点,我们先分别介绍一下:
Direct方式的优点是设置非常直观,方便定制化系统,使用某些特殊算法时较为方便,但是扩展性没有那么强。
在Direct方式中,我们会在一个env.py文件中实现强化学习环境所需要的所有步骤和功能,并用一个额外的文件设置一些环境和强化学习训练的参数,举例:
了解isaac gym的同学可以发现,这个方式非常像isaac gym里强化学习环境的组织方式,当然接口有很大的区别,但总体来说还是比较易懂的。
(1)AnymalCFlatEnvCfg,我们可以在这个设置类中导入自