点云 相机位姿_汉振分享 | 刚性物体6D位姿估计方法简述

引言

在工业上的抓取作业中，多数情况下会有：待检测物体类型单一、物体模型表面纹理较少、工件散乱且密集、金属表面(油污、反光)影响成像效果等作业环境上的特殊性条件存在。针对不同的应用场景及作业需求，需要有的放矢地选择一种合适的位姿估计方案，以提高后续机器人的抓取成功率及作业的整体效率。

现阶段，针对刚性物体的位姿估计方法，大致可以归为以下三类：

1 基于模板匹配

2 基于3D描述符(描述子)

3 基于学习(神经网络/ end to end)

基于模板匹配的方式

在可能的三维空间区域中，将待检测物的三维模型进行不同视角下的渲染成像，提取各视角下物体的相关信息(如：轮廓、边缘梯度、表面曲率等)，对待检测物体进行充分的采样，提取足够鲁棒的模板集。匹配时，从场景中提取相关信息，并在建立好的模板集中进行查询比对，找到相似度最高的模板，并以该模板的位姿作为粗位姿，然后结合ICP等方式进行位姿的细配准。

论文示例

《Real-Time 6D Object Pose Estimation on CPU》[1]

该方法以模板匹配为基本原理，从特征集模板的构建、模板的存储数据结构以及内存重组优化等三个方面作出了改进和优化工作，以提高配准的准确度及整个流程的速度。

01 模板特征集的构建

从多个视角对工件的CAD模型进行投影成像，并对每一个投影数据构建PCOF(Perspectively Cumulated Orientation Feature)特征集(每个视角对应一个模板位姿)。

特征集在构建时，同时使用投影点云的表面法向及轮廓梯度方向信息创建方向直方图(共8个方向)，并按照阈值将直方图进行二值化(组频率大于阈值的置为1)，最后用一个字节(byte)来存储(一个byte共8个bit位，对应8个方向)。

方向直方图示例，ori(二值化的方向直方图)，w(权重，以该直方图中超过所设阈值的最大频率来表示)：

1,2两像素点取自投影图像的轮廓，以梯度方向构建直方图

3,4两像素点取自投影图像表面，以法线方向构建方向直方图

02 使用BPT数据结构存储构建的模板

在对模型进行投影成像时，视角点的选取是通过将正二十面体(下图中depth 0)不断等分，最终形成正1280面体(下图中depth 3)，然后均匀选取正1280面体的顶点作为模型投影成像的视角点。

填充构建”树”型存储结构时，从第3层(depth 3)开始，实