r相机采集的图片转化为halcon识别的图像源码_【视觉】采用空间投影的深度图像点云分割...

本文摘自于：郭清达,全燕鸣. 采用空间投影的深度图像点云分割[J]. 光学学报, 2020, 40(18): 1815001 点云分割是点云处理的一个关键环节,其分割质量决定了目标测量、位姿估计等任务的精确与否。 1、引言 目前,以立体成像技术为核心的立体相机获得了多样性发展,例如双目相机、单目结构光 相机、 TOF(timeofflight)相机等, 其获得的深度图像(RGB-D)是在RGB 数据基础上融合了深度数据, 在参考相机内参下深度图像可转化为点云数据。根据立体相机的三维数据重建感兴趣区域(ROI),目标区域表面信息和背景信息的数据是混合在一起的,这给后续目标的三维测量和分析处理带来了一 定难度,因此采用点云分割技术进行目标区域和背 景点云分离是必要的途径。 点云分割就是将数据分割成若干个互不相交的子集。点云分割的问题一般分为4类： 1)具有 人类视觉意义的形状确定 2)获取点云中与空间方位无关的几何特征 3)点云中各个形状边界的确定 4)具有一致性的分割结果。 目前的点云分割方法分为两类,即主要处理点与点之间拓扑关系的传统方法和基于深度学习的方法。 立体相机与激光雷达的不同之处在于拍摄场景信息所得的RGB-D数据具有物体表面的颜色纹理信息。 不同于点云拓扑关系和深度学习的点云分割,本文介绍了一种采用点云空 间投影的RGB-D点云分割技术, 首先介绍采用图像阈值的点云分割和利用靶标世界坐标系的点云分割两种基础方法, 将在世界坐标系中的靶标作为参考旋转点云,并将其投影至坐标系水平面(XOY)上,利用图像的形态学获得目标显著区域,进而获得目标点云数据。 2、图像阈值与点云关系模型 2.1 相机数学模型 摄像机数学模型采用小孔成像的原理,在笛卡儿空间中建立景物点与成像点之间的映射关系。令点P=(Xw,Yw,Zw)为像素p(u,v)投射在世界坐标系中的点,(u,v,1)是点p在像素坐标系中的齐次坐标;(Xw,Yw,Zw,1)是点 P 在世界坐标系中的 齐次坐标。那么两个坐标的关系为 2.2 图像阈值与点云的关系模型 RGB-D数据来自立体相机中RGB