强化学习——双臂攀爬机构运动控制

源码地址

链接: https://github.com/aaronworry/two-arms-climb

学习使用时备注出处即可

演示效果

链接: https://www.bilibili.com/video/av41743426/?p=1

测试环境

CPU：Intel i7-4710MQ
RAM：16G
显卡：GTX 850M

概述

搭建了一个双臂攀爬的运动学模型，分别用DDPG训练了固定下臂，移动上臂和固定上臂，移动下臂的运动控制。然后使用DQN建立了宏观运动决策模型。

核心内容

机器人运动学

通常将表示相邻的两连杆相对关系的矩阵称为A矩阵。

• 一般需要两个参数来描述一个连杆
  • 公法线距离$a_i$
  • 垂直于$a_i$所在平面内两轴的夹角${\alpha }_i$。
• 同样相邻两连杆的关系也需要两个参数
  • 两连杆的相对位置$d_i$
  • 两连杆的法线夹角${\theta }_i$。

一般用两个旋转和两个平移来表示相邻连杆的相对位置关系。
在此环境下，连杆只有3个自由度，且$a_i=l_i,{\alpha }_i=0,d_i=l_i,{\theta }_i={\theta }_{相邻连杆的夹角}$
因此可以只用一个旋转和一个平移表示。设Z轴为运动平面的法向量，X轴为连杆的方向。因此连杆的变换矩阵为
$$A_i=Rot(z,{\theta }_z$$