【论文阅读】2017-Segmentation-Based Classification for 3D PointClouds in the Road Environment

2017-Segmentation-Based Classification for 3D PointClouds in the Road Environment

Binbin Xiang1, Jian Yao1,∗, Xiaohu Lu1, Li Li1, Renping Xie1, and Jie Li2
1 Computer Vision and Remote Sensing (CVRS) Lab, School of Remote Sensing and Information Engineering,Wuhan University, Wuhan, Hubei, P.R. China
2 School of Electrical and Electronic Engineering, Hubei University of Technology, Wuhan, Hubei, China

Abstract

提出一种基于分割的道路点云分类方法。首先，使用 Pairwise Linkage 方法进行点云分割并使用两个阶段的后处理获得更完整的segment。其次，提取特征并使用分类器进行训练、分类。第三，物体间的上下文限制被使用基于 segments via graph cuts来优化分类结果。

贡献：

1. A unified framework is proposed for classifying the MLS point clouds based on segments.
2. A set of features for each segment are well-designed, which can be used to effectively distinguish nine common object classes in urban street scenes.
3. A publicly available point cloud dataset with ground truth is provided for further point cloud classification study.

1 Introduction

1、重要性：

2、MLS数据的特点：密度大

3、一些困难：noise、障碍物引起的遮挡、随着距离的增加密度的变化、MLS点云数据集少

2 Relate Works

根据分类的基本元素，可以将现有的分类方法分为两大类

1、基于点的（point-based classification）

需要计算每一个点的特征值，计算量大；由于基于点的特征提取的限制，所以分类可能会在一些情况下失效

2、基于segment的（segment-based classification）

voxel level、object level

优势：提高计算效率、获得更丰富的信息。

研究表明，有效的分割是获得良好的分类效果的关键。点云的表面不连续性是分割的重要基础。

基于单个点的细分可能非常有效地执行，但是分割结果容易受噪声的影响。

不同与传统的区域生长分割，使用图割和马尔科夫随机场可以生成更平滑的分割结果。这些方法的缺点就是需要知道要分割的物体的位置这一先验知识。

由于复杂的几何形状，a single point cloud segmentation通常无法提供让人满意的分割结果。

hierarchical segmentation method（层级分割法）

先过分割，然后post-process合并过分割parts，最终结果就是同一个分割段包含尽可能多的相同类别的物体（achieve the results that the same segment contains the objects with a same class as much as 1 possible）

However, the rules for classification are difficult to be manually set in many cases。因此出现机器学习的方法。

feature

1. Lehtomäki et al. [43] applied features describing the global shape and the distribution of the points in an object, such as local descriptor histograms (LDHs) and spin images,
2. Some methods use the features recorded by scanner systems, such as the reflectance intensity, return count and color information [25,44].
3. In addition, height-related features, geometrical shape features, eigenvalue-based features, point type, density and orientation are widely used in the state-of-the-art 1 methods [25,28,45–48].

分类器

svm

rf—>特征选择

adaboost

优化

上述的一些分类器，都仅仅考虑到了局部特征，忽视了不同物体之间的拓扑关系。通过利用上下文信息，可以有效提高分类精度。有：CRF，CRF+RF，Associative Markov Network (AMN)

a three-stage classification framework

1、基于segment的点云分类，提高了计算效率，获得更丰富的信息

2、使用feature+machine learning的方法进行分类

3、为了使用上下文信息，使用graph-cuts进行优化分类结果

3 Our Approach

3.1 3D Point Cloud Segmentation

首先进行P-linkage过分割，然后使用two-steps的post-processing的方法提高原始的分割结果。

3.1.1 P-Linkage Based Segmentation

1、法向量估计

Thus for each data point pi, we obtain its normal n(pi), flatness λ(pi) and Consistent Set CS(pi)

2、Linkage Building

对每一个点pi，在其CS中找比他平坦（平面度小），并且法向量的方向和pi最接近的点，记为CNP(pi);若找到这个点，那么在CNP(pi)和pi之间创建一个pairwise linkage，并且将其加入到lookup table T中。如果CNP(pi)不存在，那么将pi看为一个聚类中心，加入到list of cluster centers Ccenter.

3、Slice Creating

对每一个聚类中心，沿着table查找与其直接或者间接相连的点作为cluster，然后对每一个cluster，通过估计平面+外点去除得到a slice ，对每一个slice Sp，获得它的法线、平面度、一致性集合

4、Slice Merging

为了获得在室内和工业应用中非常普遍的完整平面和曲面，首先根据

得到相邻的slices，如果这两个slices的法线满足：

那么合并

3.1.2 Post-Processing

1、group the broken cars, trees and curbs into the whole ones by using the connected component analysis，实现步骤如下：

首先，发现所有的合并候选者（通过两个阈值：number of points is less than the predefined threshold Tb、the ratio between numbers of scatter type points and total points ismore than the predefined threshold Ts ，其中scatter type point是通过点的特征值来计算的）；然后合并所有的候选者，如果两个相邻的候选者之间的最小欧式距离小于一个阈值，则合并，其中两个候选者之间的最小欧氏距离计算如下：

2、merge the co-linear segments，merge the co-linear segments, such as the segments of telegraph 2 poles and electric wires

找到候选的segment（which have enough linear type points，ratio between numbers of linear type points and total points is more than the predefined threshold Tl）（linear type point怎么选择？根据geometric feature Lλ§）。合并所有的候选的segment：如果两个相邻的segment满足下面条件：

那么合并。

Two-step Post-processing Result

3.2 Segmentation-Based Classification

3.2.1 Feature Extraction

3.2.2 Classifiers

作者使用了SVM，RF，ELM分类器

3.3 Optimization via Graph Cuts

使用图割进行优化分类结果，这一块没看懂

4 Result

4.1 Dataset

作者自己采集的数据，可以在http://cvrs.whu.edu.cn下载

4.2 Segmentation

4.3 Initial Classification

会出现under-segmentation的问题（欠分割）

以及一些过分割导致的错误分割

4.4 Optimization Evaluation

为了解决过分割导致的错误分类问题，采用了图割的方式来优化。

首先将具有相似的初始分类标签以及距离比较近的点放在同一组；然后根据点的数量，将object分为稳定的和不稳定的；然后对每一个稳定的object构建graph model，在其周围所有相似和不稳定的object被合并到稳定的object上（通过graph cuts）；最终，我们得到了更平滑、更精细的结果。

然后定量评价了两种方式的指标

不经过优化的混淆矩阵

经过优化的混淆矩阵

5 Discussion

作者归纳了影响精度的一些因素：

• 遮挡问题，数据不完整，不同物体间的欧氏距离。
• 多元信息融合，rgb，reflect，intensity。
• 对于差别不大的类，分类较困难，如buildings and fences, street lights and telegraph poles。

6 Conclusions

本文提出三阶段的分类策略：

• P-linkage分割+两步的后处理策略
• 特征提取+分类
• 使用graph-cuts方法优化分类结果，以减少误分类。

7 个人总结

完整，不同物体间的欧氏距离。

• 多元信息融合，rgb，reflect，intensity。
• 对于差别不大的类，分类较困难，如buildings and fences, street lights and telegraph poles。

6 Conclusions

本文提出三阶段的分类策略：

• P-linkage分割+两步的后处理策略
• 特征提取+分类
• 使用graph-cuts方法优化分类结果，以减少误分类。

7 个人总结

1、可以将这个方法放在机载点云上，先使用迭代的方法进行地面去除，然后对房屋（planar)和树木（scatter）进行二分类。