2017-Segmentation-Based Classification for 3D PointClouds in the Road Environment
Binbin Xiang1, Jian Yao1,∗, Xiaohu Lu1, Li Li1, Renping Xie1, and Jie Li2
1 Computer Vision and Remote Sensing (CVRS) Lab, School of Remote Sensing and Information Engineering,Wuhan University, Wuhan, Hubei, P.R. China
2 School of Electrical and Electronic Engineering, Hubei University of Technology, Wuhan, Hubei, China
Abstract
提出一种基于分割的道路点云分类方法。首先,使用 Pairwise Linkage 方法进行点云分割并使用两个阶段的后处理获得更完整的segment。其次,提取特征并使用分类器进行训练、分类。第三,物体间的上下文限制被使用基于 segments via graph cuts来优化分类结果。
贡献:
- A unified framework is proposed for classifying the MLS point clouds based on segments.
- A set of features for each segment are well-designed, which can be used to effectively distinguish nine common object classes in urban street scenes.
- A publicly available point cloud dataset with ground truth is provided for further point cloud classification study.
1 Introduction
1、重要性:
2、MLS数据的特点:密度大
3、一些困难:noise、障碍物引起的遮挡、随着距离的增加密度的变化、MLS点云数据集少
2 Relate Works
根据分类的基本元素,可以将现有的分类方法分为两大类
1、基于点的(point-based classification)
需要计算每一个点的特征值,计算量大;由于基于点的特征提取的限制,所以分类可能会在一些情况下失效
2、基于segment的(segment-based classification)
voxel level、object level
优势:提高计算效率、获得更丰富的信息。
研究表明,有效的分割是获得良好的分类效果的关键。点云的表面不连续性是分割的重要基础。
基于单个点的细分可能非常有效地执行,但是分割结果容易受噪声的影响。
不同与传统的区域生长分割,使用图割和马尔科夫随机场可以生成更平滑的分割结果。这些方法的缺点就是需要知道要分割的物体的位置这一先验知识。
由于复杂的几何形状,a single point cloud segmentation通常无法提供让人满意的分割结果。
hierarchical segmentation method(层级分割法)
先过分割,然后post-process合并过分割parts,最终结果就是同一个分割段包含尽可能多的相同类别的物体(achieve the results that the same segment contains the objects with a same class as much as 1 possible)
However, the rules for classification are difficult to be manually set in many cases。因此出现机器学习的方法。
feature
- Lehtomäki et al. [43] applied features describing the global shape and the distribution of the points in an object, such as local descriptor histograms (LDHs) and spin images,
- Some methods use the features recorded by scanner systems, such as the reflectance intensity, return count and color information [25,44].
- In addition, height-related features, geometrical shape features, eigenvalue-based features, point type, density and orientation are widely used in the state-of-the-art 1 methods [25,28,45–48].
分类器
svm
rf—>特征选择
adaboost
优化
上述的一些分类器,都仅仅考虑到了局部特征,忽视了不同物体之间的拓扑关系。通过利用上下文信息,可以有效提高分类精度。有:CRF,CRF+RF,Associative Markov Network (AMN)
a three-stage classification framework
1、基于segment的点云分类,提高了计算效率,获得更丰富的信息
2、使用feature+machine learning的方法进行分类
3、为了使用上下文信息,使用graph-cuts进行优化分类结果
3 Our Approach
3.1 3D Point Cloud Segmentation
首先进行P-linkage过分割,然后使用two-steps的post-processing的方法提高原始的分割结果。
3.1.1 P-Linkage Based Segmentation
1、法向量估计
Thus for each data point pi, we obtain its normal n(pi), flatness λ(pi) and Consistent Set CS(pi)
2、Linkage Building
对每一个点pi,在其CS中找比他平坦(平面度小),并且法向量的方向和pi最接近的点,记为CNP(pi);若找到这个点,那么在CNP(pi)和pi之间创建一个pairwise linkage,并且将其加入到lookup table T中。如果CNP(pi)不存在,那么将pi看为一个聚类中心,加入到list of cluster centers Ccenter.
3、Slice Creating
对每一个聚类中心,沿着table查找与其直接或者间接相连的点作为cluster,然后对每一个cluster,通过估计平面+外点去除得到a slice ,对每一个slice Sp,获得它的法线、平面度、一致性集合
4、Slice Merging
为了获得在室内和工业应用中非常普遍的完整平面和曲面,首先根据
得到相邻的slices,如果这两个slices的法线满足:
那么合并
3.1.2 Post-Processing
1、group the broken cars, trees and curbs into the whole ones by using the connected component analysis,实现步骤如下:
首先,发现所有的合并候选者(通过两个阈值:number of points is less than the predefined threshold Tb、the ratio between numbers of scatter type points and total points ismore than the predefined threshold Ts ,其中scatter type point是通过点的特征值来计算的);然后合并所有的候选者,如果两个相邻的候选者之间的最小欧式距离小于一个阈值,则合并,其中两个候选者之间的最小欧氏距离计算如下:
2、merge the co-linear segments,merge the co-linear segments, such as the segments of telegraph 2 poles and electric wires
找到候选的segment(which have enough linear type points,ratio between numbers of linear type points and total points is more than the predefined threshold Tl)(linear type point怎么选择?根据geometric feature Lλ§)。合并所有的候选的segment:如果两个相邻的segment满足下面条件:
那么合并。
Two-step Post-processing Result
3.2 Segmentation-Based Classification
3.2.1 Feature Extraction
3.2.2 Classifiers
作者使用了SVM,RF,ELM分类器
3.3 Optimization via Graph Cuts
使用图割进行优化分类结果,这一块没看懂
4 Result
4.1 Dataset
作者自己采集的数据,可以在http://cvrs.whu.edu.cn下载
4.2 Segmentation
4.3 Initial Classification
会出现under-segmentation的问题(欠分割)
以及一些过分割导致的错误分割
4.4 Optimization Evaluation
为了解决过分割导致的错误分类问题,采用了图割的方式来优化。
首先将具有相似的初始分类标签以及距离比较近的点放在同一组;然后根据点的数量,将object分为稳定的和不稳定的;然后对每一个稳定的object构建graph model,在其周围所有相似和不稳定的object被合并到稳定的object上(通过graph cuts);最终,我们得到了更平滑、更精细的结果。
然后定量评价了两种方式的指标
不经过优化的混淆矩阵
经过优化的混淆矩阵
5 Discussion
作者归纳了影响精度的一些因素:
- 遮挡问题,数据不完整,不同物体间的欧氏距离。
- 多元信息融合,rgb,reflect,intensity。
- 对于差别不大的类,分类较困难,如buildings and fences, street lights and telegraph poles。
6 Conclusions
本文提出三阶段的分类策略:
- P-linkage分割+两步的后处理策略
- 特征提取+分类
- 使用graph-cuts方法优化分类结果,以减少误分类。
7 个人总结
完整,不同物体间的欧氏距离。
- 多元信息融合,rgb,reflect,intensity。
- 对于差别不大的类,分类较困难,如buildings and fences, street lights and telegraph poles。
6 Conclusions
本文提出三阶段的分类策略:
- P-linkage分割+两步的后处理策略
- 特征提取+分类
- 使用graph-cuts方法优化分类结果,以减少误分类。
7 个人总结
1、可以将这个方法放在机载点云上,先使用迭代的方法进行地面去除,然后对房屋(planar)和树木(scatter)进行二分类。