本文同步于微信公众号:3D视觉前沿,欢迎大家关注。
该文章发表于2019年CVPR,题目是:CRAVES: Controlling Robotic Arm with a Vision-based Economic System,核心点是使用40美元的廉价无传感器机械臂进行控制操作。论文为清华、北大以及约翰霍普金斯大学合作完成。
引言
本文的出发点是训练一个强化学习网络,可以对机械臂进行较为精确的控制。使用强化学习的好处是可以允许低控制精度的机械臂,也就相对廉价。当前已有谷歌的工作(2016-Learning Hand-Eye Coordination for Robotic Grasping with Deep Learning and Large-Scale Data Collection)将机械臂每次移动时拍摄的整幅图像输入网络进行训练;这无论对于数据采集和设备性能都带来了极大挑战。该论文就思考一个弱化的版本,不使用整幅图像,只使用机械臂的空间位姿训练强化学习网络,这样数据的维度就大大降低。
当前对于刚体的6D姿态估计,方法相对成熟,基于深度学习的方法包括两类,一类是直接恢复6D位姿,一类是通过预测3d关键点的2d投影点,使用pnp方法解决。不同的是,机械臂不是一个刚体,而是一个多刚体系统,它的姿态不是6d,而是要加上对应的关节角度。因此,可以使用预测2d关键点的方式,将物体的6d姿态和关节角度同时估计出来。2d关键点的预测可以使用当前成熟的深度学习网络,训练数据可以基于unreal4引擎和机械臂的3d模型虚拟生成,训练的模型可以在真实世界数据集上进行域适应等。这样整个流程就打通了。