点云孔洞定位_基于点云的机器人抓取识别综述

作者：小毛
来源：公众号 @3D视觉工坊

机器人作为面向未来的智能制造重点技术，其具有可控性强、灵活性高以及配置柔性等优势，被广泛的应用于零件加工、协同搬运、物体抓取与部件装配等领域，如图1-1所示。然而，传统机器人系统大多都是在结构化环境中，通过离线编程的方式进行单一重复作业，已经无法满足人们在生产与生活中日益提升的智能化需求。随着计算机技术与传感器技术的不断发展，我们期望构建出拥有更加灵敏的感知系统与更加智慧的决策能力的智能化机器人系统。

图1-1 机器人的应用领域

图1-2 机器人抓取的操作流程与步骤

机器人抓取与放置是智能化机器人系统的集中体现，也是生产与生活中十分重要的环节，近几年来在工业界与学术界得到了深入而广泛的研究。具体的机器人抓取可以分为视觉感知部分与机器人抓取操作部分。视觉感知部分又包含：模型与场景表征、目标识别与定位这两个步骤；而机器人抓取操作部分则包含：系统标定、运动控制与抓取规划等步骤，如图1-2所示。这其中，机器人通过视觉传感器感知环境并实现对目标物体的识别与定位，也就是视觉感知部分，是十分重要的环节，其直接决定了后续机器人的抓取精度。

图1-3 二维图像的部分缺陷

受益于计算机算力的不断提高以及传感器成像水平的高速发展，目前针对结构化环境或者半结构化环境中，基于二维图像的机器人平面单目标物体的抓取技术已经趋于成熟，并取得了丰富的研究成果[1][2][3]。然而，对于现实复杂环境中的三维物体，仅使用二维信息对三维目标进行表征，会不可避免的造成信息损失，如图1-3所示，从而难以实现非结构化环境中机器人对于多目标物体的高精度抓取操作。因此，如何提升机器人的视觉感知能力，并基于此在复杂环境中自主完成对目标物体的识别、定位、抓取等操作是一个很有价值的研究问题。

近年来，随着低成本深度传感器(如Intel RealSense、Xtion以及Microsoft Kinect等)与激光雷达的飞速发展，如图1-4所示，三维点云的获取越来越方便。这里的点云实际上就是在相机坐标系下，对所拍摄的物体或者场景表面进行点采样。物体对应的点云数据在在数学上可以简单的理解为三维坐标的无序集合。三维点云数据相对于平面二维图像具有如下优势：(1)可以更加真实准确的表达物体的几何形状信息与空间位置姿态；(2)受光照强度变化、成像距离以及视点变化的影响较小；(3)不存在二维图像中的投影变换等问题。三维点云数据具有的以上优势使得其有望克服平面二维图像在机器人目标识别与抓取中存在的诸多不足，所以其具有很重要的研究意义以及广泛的应用前景。因此，近年来针对点云的视觉研究以及基于点云的机器人抓取成为了机器人领域新的研究热点。

图1-4 点云获取设备示意图

对应前文的，在基于点云的机器人抓取可以分为点云特征描述(模型与场景表征)、三维目标识别(目标识别与定位)与机器人抓取操作这三个部分[39][40]。进一步的，点云特征描述指的是，将模型与场景对应的无序点集通过特定的算法编码为低维的特征向量，用此来表征对象的局部或者全局信息，其应当具有足够的描述力与稳定性。三维目标识别则主要是指，利用模型与场景的表征结果，在场景中识别出目标物体，并估计出其对应的位置与姿态。对于特征描述与目标识别，尽管现有文献提出了不少算法，并且在特定的环境中取得了不错的效果，然而如何在包含噪声、干扰、遮挡与密度变化的复杂非结构化环境中提取有效而稳定的特征，实现对多目标物体的准确识别定位以及高精度抓取，仍然是极富挑战性的一个问题[4]。

综上所述，基于点云的机器人抓取作为智能化机器人系统的集中体现，近几年来得到了工业界和学术界的广泛关注，并围绕点云特征描述、三维目标识别与机器人抓取操作这三个方面展开了深入研究。具体的，在点云特征描述部分，主要关注描述子的鉴别力、鲁棒性、计算效率与紧凑性等性能；在三维目标识别部分，主要关注目标的识别准确率与定位精度问题；而在机器人抓取操作部分，抓取系统的参数标定与多目标物体的数据分析都是很重要的环节。

1.1国内外研究现状

受益于点云数据自身的优势、计算机算力的不断提高与传感技术的不断发展，基于点云的机器人抓取成为了机器人领域新的研究热点，具有十分诱人的研究价值与应用前景。近年来，学术界与工业界围绕基于点云的机器人抓取，在点云特征描述、三维目标识别与机器人抓取操作这三个方面展开了广泛而深入的研究，取得了显著进展，下面分别从上述三个方面进行文献综述。

1.1.1点云特征描述

点云特征描述在机器人抓取中主要是应用于视觉感知部分的模型与场景表征。一种合格的特征描述算法应该有较高的描述力来表征对应的局部点云表面。此外，此外其还应该对于点云噪声、表面孔洞、部分遮挡、视点改变以及分辨率变化等稳健[4]，如图1-5所示。

图1-5 点云场景存在的挑战

现有的特征描述算法可以分为全局特征和局部特征两大类[5]。全局特征采用模型的整体几何信息构建得到，典型代表有Osada等[6]提出来的Shape distribution描述子，Wahl等[7]提出来的SPR(Surflet-pair-relation)描述子以及Funkhouser等[8]提出来的Spherical harmonics描述子。全局描述子拥有较高的计算效率和分类能力，但是其对于遮挡比较敏感，很难用于目标识别和精确定位[9]。鉴于此，局部点云的概念被提出，局部特征描述算法得到了深入的研究和广泛的关注。其首先提取关键点建立局部邻域，根据邻域内各点的空间分布信息和几何特征构建描述矩阵。局部描述子对于背景干扰和遮挡鲁棒，相比于全局描述子更适合用于非结构化环境中的目标识别[4][10]。

图1-6 部分局部描述算法示意图

局部描述算法又可以根据有无建立局部参考坐标系(Local Reference Frame, LRF)进行分类[11]。不依赖LRF的特征描述子都是使用局部几何信息的统计直方图或者信息量来构成特征矩阵[12]。例如，Johnson等[13]提出了Spin image描述算法，如图1-6(a)，它首先以关键点的法线作为参考轴，用两个参数对关键点的每个邻域点进行编码，然后根据这两个参数将局部邻域点进行分箱，进而生成一个二维直方图。Spin image描述子已经成为了三维特征描述子评估体系的实验基准[4][14]。但是，其存在诸如对数据分辨率变化和非均匀采样敏感等缺陷[15]。Rusu等[16]提出了PFH(Point Feature Histogram)描述算法：其对于关键点邻域内的每一个点对，首先建立Darboux框架，然后采用[7]中的方法计算由法向量和距离向量得到的四个测量值，最后将所有点对的测量值进行累加生成一个长度为16的直方图，如图1-6(b)。为了降低计算复杂度，Rusu[17]等仅将关键点与其邻域点之间的测量值进行累加，随后进行加权求和得到FPFH(Fast-PFH)，如图1-6(c)。FPFH保留了PFH的绝大部分鉴别信息，但是其对于噪声敏感[5]。目前绝大多不依赖于LRF的描述子仅利用了点云的部分几何特征，而很难编码局部空间分布信息，因而其都鉴别力不强或者鲁棒性较弱[15]。

对于建立了局部参考坐标系的描述子，则利用定义的LRF来同时对空间分布信息和几何特征进行编码以提高其鉴别力和鲁棒性[18]。例如，Tombari等人[19]首先利用加权主成分分析(PCA)的方法为关键点构建了一个局部参考坐标系，进而在该LRF下将关键点对应的球形R-近邻空间进行栅格化处理，然后依据关键点法线与落入每一个子单元的点法线间的夹角将这些点累积到一个数据统计直方图中，最后串联各个直方图便获得SHOT(Signatures of Histograms of Orientation)特征，如图1-6(d)。SHOT计算效率高，但是对于分辨率变化敏感[5]。Guo等[18]通过计算局部表面对应散布矩阵的特征向量来建立LRF，然后利用旋转投影的方法对三维点集进行降维并建立分布矩阵，之后提取分布矩阵的信息量生成最后的RoPS(Rotational Projection Statistics)描述子。RoPS有着优越的综合性能[5]，但是其只能用于mesh网格文件，也就是说其无法作用于原始的xyz点云数据[20]。并且，其将数据投影到了二维平面会造成较大的信息损失[21]。之后，Guo[15]在RoPS的LRF算法基础上进行改进，提高了稳定性，然后在坐标系的每一个参考坐标轴上求取局部邻域的Spin Image特征，串联组成Trisi(Triple-Spin Image)局部特征描述子，如图1-6(e)。基于LRF的局部描述算法的鉴别力和鲁棒性很依赖于所建立的局部参考坐标系的可重复性与稳定性，如果坐标系存在轻微的偏差，会对最终的描述向量造成严重的影响[22]，如图1-7。然而，目前已有的局部坐标系算法存在可重复性差或者方向歧义的问题[23]。

综上所述，对于不建立局部参考坐标系的特征描述子，由于不能融入空间分布信息，普遍存在鉴别力不高、对于噪声比较敏感等问题；而拥有局部参考坐标系的特征描述子的描述力和鲁棒性则主要依赖于所对应的坐标系建立算法，然而目前已有的坐标系建立方法均存在可重复性差或者方向歧义的问题[22]，相应的特征提取算法在鉴别力、鲁棒性与计算效率方面依然有提升的可能[5]。

图1-7 LRF的误差影响

1.1.2三维目标识别

在基于点云的机器人抓取领域，完成了模型与场景的表征，下一步则是进行目标识别与定位，也就是在点云场景中对待抓取模型进行三维目标识别以及对应的姿态估计。现有的三维目标识别算法主要包括基于局部特征的算法、基于投票的算法、基于模板匹配的算法以及基于学习的方法[24][25]。

基于局部特征的目标识别算法则主要分成五个部分：关键点检测、特征提取、特征匹配、假设生成、假设检验[26][27]。在这里关键点检测与特征提取组合对应的就是进行模型与场景表征。由于点云的点集数量巨大，如果对每个点都进行特征提取则会造成计算机算力不足的情况，因此会在原点云中提取稀疏而区分度高的点集作为关键点。关键点应当满足可重复性和独特性这两个重要属性[28]。前者涉及的是在各种干扰下(噪声、分辨率变化、遮挡与背景干扰等)可以精确提取相同关键点的能力；而后者则是指提取的关键点应当易于描述、匹配与分类[29]。在点云领域，经典的关键点提取算法包括Harries 3D[30]，ISS(Intrinsic Shape Signature)算法[31]，NARF(Normal Aligned Radial Feature)算法[32]。特征提取部分则主要是在物体表面提取稳固的局部特征，详见本章1.3.1部分的讨论。

特征匹配的作用则是建立一系列的关键点特征对应关系，如图1-8所示。