基于三维点云的机器人杆件目标识别与抓取（四）

@基于点云特征描述匹配的目标识别识别

基于点云特征描述匹配的目标识别方法主要分为离线注册与在线识别两个过程。离线注册过程，需要创建待识别目标的模型点云，可以通过CAD模型的点云化获得，也可以通过数据采集设备获得。对获得的模型点云进行特征描述并生成特征描述文件。在线识别阶段，需要对经点云数据分割后得到的模型点云数据子集进行特征描述，分别与离线注册生成的目标特征描述文件进行特征匹配，累计投票得到预测的中心点，并计算匹配相似度，提取匹配相似度最高的点云子集，作为场景中所要识别的目标，进而完成场景桁架杆件目标的识别。

目标杆件CAD模型的离线注册

通过创建目标的CAD模型，对CAD模型进行点云化处理，从而得到待识别目标的模型点云数据。如图3-8所示为目标杆件CAD模型离线注册的基本过程。根据待识别目标的外形轮廓，创建CAD三维模型，对模型文件进行格式转换与点云化操作，为了降低计算的复杂度，需要对点云数据进行数据压缩，对压缩后的点云数据进行特征描述与注册训练并生成点云数据特征描述文件。

目标杆件CAD模型的离线注册可分为以下过程：
（1）创建目标杆件CAD物理模型
通过SolidWorks、Pro/Engineer、AutoCAD等三维建模软件，根据目标的实际外型尺寸进行建模，进而创建目标杆件的CAD模型。
（2）物理模型点云化与数据压缩
将目标的物理模型以STL格式的文件，导入到三维几何处理系统Meshlab中。首先，需要使模型的坐标中心对齐，在Filters菜单栏下的Normals,Curvatures and Orientation工具栏下的Transform工具，对界面中的目标进行位姿调整；然后需要对模型进行点云化，在点云化过程中设置采样精度进行数据压缩，选择Filters菜单栏下Sampling工具栏，通过Poisson-disk-Sampling实现模型的点云化与数据压缩。
（3）特征描述离线注册
场景中待识别目标杆件的识别是基于隐式形状模型（Implicit Shape Model，ISM）算法实现的。该算法主要分为两部分，一为注册训练，二为在线识别。本段主要介绍注册训练部分的内容。通过以上两步可以得到目标杆件压缩后的点云数据。对点云数据进行点云法线估计以及快速点特征直方图描述，提取相应的特征构建字典索引。注册训练部分主要分为以下步骤：
（1）检测关键点，对于点分布稠密且数据量较大的点云数据，检测其关键点，通过关键点近似表示整体数据，简化数据特征注册与训练的过程；
（2）关键点FPFH，计算关键点的法线特征以及FPFH特征；
（3）通过K-means聚类算法对所有关键点构建（几何）词典索引；
（4）计算每一个聚类簇中的关键点到聚类中心关键点是方向向量；
（5）对于每一个聚类簇，根据其每个关键点与中心点的方向向量，由式(3-18)计算其统计权重；

式中：
——聚类对的投票统计权重；
——聚类的票数；
——聚类对的投票数；
——投给的所有聚类的得票数；
——类的集合；
——特征点数。
（6）计算每一个关键点学习权重，该权重与关键点到聚类中心的距离相关，如式(3-19)：

式中：
——聚类对训练的形状的投票；
——聚类与训练形状的中心距离；
——所有投票的实例集合；
——比例因子；
——投票中心与实际中心的欧氏距离。
理想目标杆件模型的点云数据经过以上步骤注册训练处理后得到目标杆件的特征描述文件，接下来利用该特征描述文件进行实际场景中的目标在线识别。

场景中目标杆件在线识别

获取后的场景点云数据经点云数据预处理得到不同部件对应的点云子集。分别对点云子集进行特征描述并与训练的目标特征描述文件进行匹配，根据投票预测中心点，利用距离均值间的关系进行目标识别，如图3-9所示基于模型特征描述匹配的场景目标识别过程。

在线识别部分主要分为以下步骤：
（1）对聚类分割后的点云数据子集进行关键点检测；
（2）对关键点进行FPFH描述；
（3）对于每个关键点对应的FPFH，搜索训练模型中最近的词；
（4）对于每一个关键点，计算其类别投票权重；
（5）根据以上步骤投票预测聚类点云子集的中心点；
（6）利用预测的中心点计算聚类点云子集的距离均值，同时与模型点云的距离均值进行比较，提出匹配相似度，如式(3-20)：

（7）提取匹配相似度最大值对应的聚类点云子集作为所要识别的目标，最终实现场景目标的识别。

目标杆件在线识别实验与结果分析

针对获取的场景点云数据实施基于模型特征描述匹配的目标识别方法。如图3-10所示，对于某一场景1下，输入的场景点云数据经数据分割处理后得到三个聚类点云子集，对聚类点云子集分别与模型点云进行特征描述与匹配，其匹配相似度分别为60.2%、93.1%、82.2%，提取最高匹配相似度对应的聚类点云作为所要识别的目标点云，即聚类点云1为桁架杆件目标点云，经验证结果正确，其中表示聚类点云1预测的中心点。但对于另一场景2下，如图3-11所示，输入的场景点云数据经处理后得到5个聚类点云子集，其匹配度相似度Sim分别为92.3%、53.8%、-25.6%、25.1%、76.2%，同样提取最高匹配相似度对应的聚类点云作为所要识别的目标点云，即聚类点云0为桁架杆件目标点云，经验证结果错误，两场景下的数据处理信息如表3-1所示。

综上可知，基于模型特征描述匹配的目标识别方法对于实际场景的目标识别效果一般。究其原因主要有两个，一为相机采集的数据精度相对较低，加之所识别的桁架杆件目标表面特征单一，在进行特征描述时，无法建立更多有效的特征匹配点对；二为相机采用Eye-in-hand的安装方式，相机下获取的场景是随机械臂末端手爪实时变化的，当前视角下设定的识别参数，并不有效满足另一视角。因此，需要采用更加有效稳定的识别方法，根据当前环境和任务进行场景目标识别。