[PCL] 三维图像处理

点云基础

定义

定义：通过测量仪器（激光，三维相机）得到的产品外观表面的点数据集合也称之为点云。

通常使用三维坐标测量机所得到的点数量比较少，点与点的间距也比较大，叫稀疏点云；而使用三维激光扫描仪或照相式扫描仪得到的点云，点数量比较大并且比较密集，叫密集点云或者叫稠密点云。

对点云理解

点云是在和目标物体表面特性的海量点集合。根据激光测量原理得到的点云，包括三维坐标（XYZ）和激光反射强度（Intensity）。

当一束激光照射到物体表面时，所反射的激光会携带方位、距离等信息。若将激光束按照某种轨迹进行扫描，便会边扫描边记录到反射的激光点信息，由于扫描极为精细，则能够得到大量的激光点，因而就可形成激光点云。

根据摄影测量原理得到的点云，包括三维坐标（XYZ）和颜色信息（RGB）。结合激光测量和摄影测量原理得到点云，包括三维坐标（XYZ）、激光反射强度（Intensity）和颜色信息（RGB）。

在获取物体表面每个采样点的空间坐标后，得到的是一个点的集合，称之为“点云”(Point Cloud)。点云的格式：; *.pts; *.asc ; *.dat; *.stl ; *.imw；*.xyz，PCD;

点云的特性

点云是某个坐标系下的点的数据集。点包含了丰富的信息，包括三维坐标X，Y，Z、颜色、分类值、强度值、时间等等，

（1）非结构化数据（无网格）：点云是分布在空间中的XYZ点。

（3）点云数量上的变化：在图像中，像素的数量是一个给定的常数，取决于相机。 然而，点云的数量可能会有很大的变化，这取决于各种传感器。

（3）不变性排列：点云本质上是一长串点（nx3矩阵，其中n是点数）。 在几何上，点的顺序不影响它在底层矩阵结构中的表示方式，例如， 相同的点云可以由两个完全不同的矩阵表示。 如下图所示：

点云模型与三维信息

　　三维图像是一种特殊的信息表达形式，其特征是表达的空间中三个维度的数据。和二维图像相比，三维图像借助第三个维度的信息，可以实现天然的物体-背景解耦。除此之外，对于视觉测量来说，物体的二维信息往往随射影方式而变化，但其三维特征对不同测量方式具有更好的统一性。与相片不同，三维图像时对一类信息的统称，信息还需要有具体的表现形式。其表现形式包括：深度图（以灰度表达物体与相机的距离），几何模型（由CAD软件建立），点云模型（所有逆向工程设备都将物体采样成点云）。可见，点云数据是最为常见也是最基础的三维模型。点云模型往往由测量直接得到，每个点对应一个测量点，未经过其他处理手段，故包含了最大的信息量。然而，这些信息隐藏在点云中需要以其他提取手段将其萃取出来，提取点云中信息的过程则为三维图像处理。

点云处理的三个层次

　　与图像处理类似，点云处理也存在不同层次的处理方式。或者说，根据任务的需求，需要组合不同的处理方式，而这些处理在过程上有先后之分。图像处理分为三个层次，低层次包括图像强化，滤波，边缘检测等基本操作。中层次包括连通域标记(label)，图像分割等操作。高层次包括物体识别，场景分析等操作。工程中的任务往往需要用到多个层次的图像处理手段，在传统的图像处理方法中（传统就是不包括CNN神经网络和大数据集），图像处理的过程需要递增的使用不同层次图像处理来完成任务。

　　PCL官网对点云处理方法给出了较为明晰的层次划分，如图所示。

此处的common指的是点云数据的类型，包括XYZ,XYZC,XYZN,XYZG等很多类型点云，归根结底，最重要的信息还是包含在point<pcl::point::xyz>中。可以看出，低层次的点云处理主要包括滤波(filters)，关键点(keypoints),分割(segmention)。分别对应图像处理中的滤波，边缘检测，分割。显然，在图像处理中还是中层次的分割操作，由于点云的特性被简化到了低层次的水平，本质上与滤波和关键点提取难度相当了。点云的中层次处理则是特征描述(feature)。高层次处理包括配准(registration)，识别（recognition）。可见，点云在分割的难易程度上比图像处理更有优势。准确的分割也为识别打好了基础。