scare机器人如何手眼标定_「科普」3D视觉技术在机器人抓取作业中的应用

摘要

本文主要研究3D视觉技术在机器人抓取作业中的应用，总 结了3D视觉技术在识别、定位物体时面临的挑战，给出了抓取作业机器 人3D视觉系统的设计方法，归纳了现有的3D表面成像方法和视觉处理算 法，最后给出一个结合3D视觉技术对白色抽屉纸盒进行抓取分拣的实际 应用案例。

关键词:3D视觉;工业机器人;抓取

1 引言

随着经济的发展与科技的进步，人们越来越多地将 自动化技术应用到生产与生活中，与此同时，也对自动 化技术提出了更高的要求。近十年来，工业机器人的普 及使得机器人自动化得到了更广泛的应用和关注。很多 机器人系统已经集成了视觉系统，利用机器视觉技术实 现检测、识别、定位等功能，为后续的机器人运动提供必要的信息。

在许多自动化应用场合中，如自动化分拣、装配、拆垛、码垛、上料等过程中，工业机器人经常被用来进 行抓取作业。要完成抓取操作，机器人系统可能需要完 成目标感知、运动规划、抓取规划等一系列任务[1]。视 觉系统在机器人抓取作业中的作用就是识别、定位目标 物体，为机器人提供目标物体的类型与位姿信息。其 中，位姿估计的精度关系到抓取的成功率与精度，是非 常重要的技术参数。

3D视觉技术作为新兴的技术领域还存在很多亟待 解决的问题，但2D视觉已不能满足空间抓取的应用要 求。与2D视觉相比，3D视觉技术的优点有:

(1)3D视觉可以提供目标物体6DOF的位姿数 据，而2D视觉仅能提供平面内3DOF的位姿数据;

(2)3D视觉能给出目标物体的深度信息或物体表 面的点云信息。

但与此同时，3D视觉技术在机器人抓取应用中仍然面临许多挑战[2]:

(1)点云空洞:用3D相机捕捉反光、透明、网状 物体表面的点云信息，经常会出现数据的丢失，丢失的 点云数据形成了点云空洞;

(2)点云粘连:多个物体杂乱堆放或者两个物体 表面靠近摆放时，不同物体表面的点云会粘连在一起， 这就涉及到如何稳定、准确地进行点云分割;

(3)点云密度不一致:物体表面与3D相机之间的 相对位姿、物体表面的颜色均会影响点云的密度，使得 目标场景的点云密度不一致，这在一定程度上给点云处 理算法带来了困难;

(4)视野局限:有限的相机视角、遮挡和阴影效 果，都会阻碍3D相机获得抓取目标的表面全貌，进而 阻碍对抓取目标的识别;

(5)速度:3D视觉的原理要求其处理的数据量较 大。3D相机的分辨率越高，所采集的点云质量越好， 越能表征物体表面更细微的几何特征，但相应地带来的 数据量就越大。为了适应实际应用需要，如何提高3D 相机获取目标场景点云的速度、点云处理算法的速度仍 是需要研究的课题。

此外，相机传感器的噪声，点云分割噪声，光照 条件的变化，物体的颜色等诸多因素都是3D视觉技术 所面临的问题。

本文主要研究3D视觉技术在机器人抓取作业中的应用。文章第二部分介绍抓取作业机器人3D视觉系统 的设计，包括视觉设备的选择、与机械设计的关系;第 三部分介绍几种3D表面成像技术;第四部分介绍3D视 觉处理算法，包括点云分割、3D匹配等;第五部分给 出一个实际应用案例:工业机器人结合3D视觉分拣白 色抽屉纸盒;第六部分为总结。

2 抓取作业机器人3D视觉系统的设计

2.1 3D相机的选择

图1 3D相机的选择

选择3D相机时需要考虑相机与目标场景之间的距 离以及目标场景的尺寸。目标场景最好位于相机的中间 视场附近，不超出近视场和远视场的边界，即目标场景 的高度不超出测量范围。

3D相机的成像精度需要满足应用场景的抓取精度 要求。通常，工作距离越大，3D相机的视场越大，但成 像的精度越低。此外，相机的分辨率、点云的获取速度 也是评价3D成像系统的重要指标。其中，相决定了点云数据量的大小及其对物体细节的表征程度， 关系到点云处理算法的设计。点云的获取时间加上点云 处理算法的执行时间必须满足抓取应用的节拍要求。

此外，相机的性价比、系统的可靠性也是选择相 机时需