Lab颜色约束的图像稠密点云分类算法

目录

一、图像稠密点云问题建模

1、激光雷达点云

2、图像稠密匹配点云

二、图像稠密点云的预处理

1、 建立点云数据的邻域索引

2、点云数据的去噪

三、基于渐进三角网的点云滤波

四、 Lab颜色约束的欧式聚类建筑物提取

五、实验与分析

2.5.1  实验结果

2.5.2  实验分析

六、本章小结

点云数据的分类是点云数据处理领域研究的热点和难点。现阶段点云数据的分类多以激光点云数据为主，而以图像密集匹配的点云研究较少。针对这一问题，本章简要分析激光点云和图像稠密点云的异同点，借鉴激光雷达点云分类常采用的阶层式分类思路，提出一种适用于大范围图像稠密匹配点云的自动分类方案：首先使用渐进不规则三角网算法将点云分为地面点和非地面点（滤波）；然后在地物点云中结合颜色信息，利用点云表面曲率较小的点做为欧式聚类的种子点，进行建筑物点的提取并有效地解决建筑物和植被点云误提取问题；最后通过几组实测数据验证了算法的有效性[[i]]。

一、图像稠密点云问题建模

近年来，随着激光雷达技术发展以及图像立体视觉点云重建技术的成熟，基于海量点云数据的后期处理技术成为学术界研究的热点。点云数据作为智能武器平台的主要数据源，点云数据的分类识别是智能武器平台自主导航控制和目标精确打击的基础和前提；另外点云数据的分类识别也可以作为点云建模、场景语义识别的基础性工作。

由于激光雷达数据在出现时间、获取手段等方面的特点，现阶段基于点云数据的分类识别多以激光雷达获取的点云数据为主。随着图像立体视觉匹配算法的成熟，该方法生成的点云数据精度越来越高，在点云数据处理中具有不可替代的作用。下面就上述讨论的两种点云类型在获取方式、数据组成结构等方面进行简要分析。

1、激光雷达点云

随着测量技术的发展，上世纪90年代中期出现了三维激光扫描技术（Terrestrial Laser Scanning, TLS），又被称为实景复制技术。它突破了传统单点测量方法，具有高效率、高精度等优势，通过高速激光扫描的测量方法，快速获取大范围、高分辨率的物体表面三维点云数据。目前已经投入市场的三维激光扫描仪基本工作原理可以分为两类：一类是基于激光时间飞行差原理设计出的脉冲式激光扫描仪，利用激光在这段时间间隔内飞行的距离，再根据仪器记录的水平和垂直方向的旋转角度，可以计算出物体表面的三维坐标点；另一类是基于相位差原理设计的相位式激光扫描仪，利用激光的波长和相位延迟来计算激光器到被测物体表面的实际距离，然后再通过水平和垂直方向角度计算出物体表面三维坐标点。激光扫描系统一般由激光测距仪、GPS接收系统、IMU（惯性导航单元）、成像装置等部分组成。根据激光扫描系统运行的平台主要将其划分为机载、车载和地面激光扫描系统。由于激光的物理特性，三维激光扫描系统获取的点云数据结构如下：

（1）三维坐标信息（x,y,z）：三维坐标信息是点云数据的基础，也是点云数据处理最主要的处理对象。

（2）回波次数：由于激光光束具有一定的穿透特性，能够反映出地球表面物体在垂直方向上的层次性。激光扫描系统能够记录回波次数信息以及该次回波为总回波次数的第几次回波。

（3）回波强度：回波强度是反映物体表面对激光脉冲响应强弱的参数。理论上，若地表物体的反射率越高，则激光扫描系统接收的回波强度就越大。

2、图像稠密匹配点云

基于计算机视觉的三维重建是从带有一定重叠度的多张图片中，计算出三维物体的位置形状等几何信息的过程。关键技术有基于运动结构恢复（Structure from Motion, SFM）的相机标定、稀疏点云重建和基于多视图立体视觉（Milti-View Stereo,MVS）的稠密点云生成。下面简要描述该技术的主要步骤和流程：

（1）图像特征提取和匹配：从带有一定重叠度的图片中提取特征点（一般使用SIFT描述符）并进行视图间的匹配，这些匹配点的依赖关系是实现三维重建的基础；

（2）极线几何和基础矩阵计算：通过上一步计算机视觉方法得到的特征点对，并通过极线几何约束计算得到基础矩阵，再利用相机内参数矩阵计算得到本征矩阵，对本征矩阵进行分解就可以得到两张图片对应的相机旋转和平移矩阵；

（3）运动结构恢复：利用上述求得的图片的特征点对和旋转平移矩阵，通过三角化的方法可以得到特征点对所对应的物体的三维坐标。通过图像的 特征点对与初始点云计算后续图片的位置姿态，实现增量式的稀疏点云重建；

（4）基于MVS的点云稠密重建：点云的稠密重建是在稀疏重建过程中恢复出的相机内外参数的基础上进行的，主要概括起来分为四类方法：基于体素的方法、基于可变形多边形网格的方法、基于多重深度图的方法和基于面片的方法。

经过上面对图像匹配点云生成步骤的简要介绍，可以知道该技术路线生成的点云数据结构不仅包含基本的三维坐标信息，而且包含物体表面的纹理光谱信息。

综上所述，激光扫描系统获取的点云由于带有回波强度、多次回波信息等辅助信息，且点云精度高等优点，在点云数据的分类识别中应用更加广泛，但也存在一些不足，如成本较高、重量大、噪声大等；基于图像匹配点云的方法，由于成本低、重量小、重建精度不断提高，且自身带有物体表面纹理光谱特性等优点，在应急测绘保障特别是军事应用领域具有重要的地位。本文研究的点云数据即是以低空无人机挂载的消费级相机进行大范围航空拍摄得到序列图像后，经过稀疏点云重建和稠密重建后得到的带有三维坐标信息和纹理光谱信息的共六维信息的点云数据。如果不做特别说明，下文中提到的点云都为图像稠密匹配生成的点云。

二、图像稠密点云的预处理

随着图像三维重建算法的发展，获得的点云数据在稠密程度或者精度上都有很大的提高，要处理这些大量的离散的点云数据，需要建立合适的数据索引以加快数据处理和邻域搜索的速度；另外，由于图像三维重建时无GPS辅助信息的参与或者半全局匹配（SGM）等过程中容易产生噪声等点云，因此点云的去噪是点云数据预处理的重要组成部分。

1、 建立点云数据的邻域索引

最简单的邻域索引方法是逐个计算给定的点与其他点的距离，通过比较，找到距离最近的k个点组成采样点的k邻域索引结构。显然这样的计算量比较大，且相当耗时。许多学者在快速邻域索引方面做了大量研究，可以通过空间层次划分技术进行高效的计算，比较常用的邻域搜索有：空间栅格划分、八叉树空间划分以及KD-树划分。

空间栅格划分：建立点云的最大包围盒，将包围盒所在的空间进行规则的划分，那么点云将落入划分好的体元中，利用体元的规则性和相邻性，建立点之间的邻域关系，该方法简单方便容易实现，但是会产生大量的冗余。

八叉树空间划分：首先建立点云的最大正方体外包围盒，通过自顶向下递归地将父节点划分为等大小的八个子节点，建立层次八叉树空间剖分结构，递归划分的终止条件可以是预设的节点中点云数量阈值和八叉树节点深度值。由于点云数据在空间分布上常常不均衡，将导致空间剖分不均衡，并且邻域搜索时将耗费较多时间。

KD-树：又称为k维树，用来对k维数据进行划分的一种数据结构。该方法由二叉树扩展而来，用于多维空间检索的树形结构。应用在点云的空间数据索引中时，首先建立点云数据的最大包围盒，选取包围盒最大边的轴向为起始划分轴向，由点云在该轴向上的投影值的中值为划分点将空间划分为左右两个子空间，然后对左右两个子空间按照上述方法进行递归划分，直至叶节点为止。本文使用KD-树建立点云数据的邻域索引结构。构建KD-树邻域索引后，具体的搜索过程如下：

（1）从根节点开始，将样本数据与该节点所在维度的值进行比较，选择左右两个子空间；

（2）如果算法到达叶节点则停止搜索，并将该节点下的数据视为搜索结果；

（3）如果当前节点为中间节点，将当前节点和最优节点进行如下比较：如果当前节点更接近采样点，则将当前节点作为最优节点。同时检查当前的另一兄弟节点是否比当前节点更加接近采样点，比较方法是：在采样点处以当前最优点到采样点的距离为半径做球，判断此球和当前分割超平面是否相