【2019CVPR】CRAVES：通过廉价的视觉系统控制机械臂

本文同步于微信公众号：3D视觉前沿，欢迎大家关注。

该文章发表于2019年CVPR，题目是：CRAVES: Controlling Robotic Arm with a Vision-based Economic System，核心点是使用40美元的廉价无传感器机械臂进行控制操作。论文为清华、北大以及约翰霍普金斯大学合作完成。

引言

本文的出发点是训练一个强化学习网络，可以对机械臂进行较为精确的控制。使用强化学习的好处是可以允许低控制精度的机械臂，也就相对廉价。当前已有谷歌的工作(2016-Learning Hand-Eye Coordination for Robotic Grasping with Deep Learning and Large-Scale Data Collection)将机械臂每次移动时拍摄的整幅图像输入网络进行训练；这无论对于数据采集和设备性能都带来了极大挑战。该论文就思考一个弱化的版本，不使用整幅图像，只使用机械臂的空间位姿训练强化学习网络，这样数据的维度就大大降低。

当前对于刚体的6D姿态估计，方法相对成熟，基于深度学习的方法包括两类，一类是直接恢复6D位姿，一类是通过预测3d关键点的2d投影点，使用pnp方法解决。不同的是，机械臂不是一个刚体，而是一个多刚体系统，它的姿态不是6d，而是要加上对应的关节角度。因此，可以使用预测2d关键点的方式，将物体的6d姿态和关节角度同时估计出来。2d关键点的预测可以使用当前成熟的深度学习网络，训练数据可以基于unreal4引擎和机械臂的3d模型虚拟生成，训练的模型可以在真实世界数据集上进行域适应等。这样整个流程就打通了。

整体框架