2020-08-04

关于点云数据处理

二维点云关键点的提取方法：

Harris角点：

基本原理：

人眼对角点的识别通常是在一个局部的小区域或小窗口完成的。如果在各个方向上移动这个特征的小窗口，窗口内区域的灰度发生了较大的变化，那么就认为在窗口内遇到了角点。如果这个特定的窗口在图像各个方向上移动时，窗口内图像的灰度没有发生变化，那么窗口内就不存在角点；如果窗口在某一个方向移动时，窗口内图像的灰度发生了较大的变化，而在另一些方向上没有发生变化，那么，窗口内的图像可能就是一条直线的线段。

1、点云滤波方法（数据预处理）：

处理情况：（1）  点云数据密度不规则需要平滑
                  （2） 因为遮挡等问题造成离群点需要去除
                  （3） 大量数据需要下采样
                  （4） 噪声数据需要去除

步骤：

（1）点云下采样                ApproximateVoxelGrid

（2）去除点云离群点        StatisticalOutlierRemoval 、RadiusOutlierRemoval  FastBilateralFilter、BilateralFilter（双边滤波）、基于点云的滤波处理方法

 StatisticalOutlierRemoval ：

对每个点位的邻域进行统计分析，去除不符合标准的邻域点。

1、对每个点计算其对相邻点位的距离，得到μ和σ

2、这个邻域点集中所有点距离大于   μ + std_mul * σ   区间之外的点都可以被视为离群点，并可从点云数据中去除。std_mul 是标准差倍数的一个阈值，可以自己指定。

RadiusOutlierRemoval

根据该点一定半径范围内包含的点位个数，未达到就删除该点

基于点云的滤波处理方法

点云的频率：　点云和图像一样，有可能也存在频率的概念。点云表达的是三维空间中的一种信息，这种信息本身并没有一一对应的函数值。故点云本身并没有在讲诉一种变化的信号。但点云存在某种空间关系。我们可以人为的指定点云空间中的一个点，基于此点来讨论点云在各个方向上所谓的频率。

　　在传统的信号处理中，高频信号一般指信号变化快，低频信号一般指信号变化缓慢。在图像处理中，高低频的概念被引申至不同方向上图像灰度的变化，傅里叶变换可以用于提取图像的周期成分滤除布纹噪声。在点云处理中，定义：点云法线向量差为点云所表达的信号。换言之，如果某处点云曲率大，则点云表达的是一个变化的信号。如果点云曲率小，则其表达的是一个不变的信号。这和我们的直观感受也是相近的，地面曲率小，它表达的信息量也小；人的五官部分曲率大，其表达了整个Scan中最大的信息量。

DoN算法

　　点云频率的思想已经被广泛的应用在了各个方面，最著名的莫过于DoN算法。DoN算法被作者归类于点云分割算法中，本质上DoN只是一种前处理，应该算是一种比较先进的点云滤波算法。分割本质上还是由欧式分割算法完成的。DoN 是 Difference of Normal 的简写。算法的目的是在去除点云低频滤波，低频信息（例如建筑物墙面，地面）往往会对分割产生干扰，高频信息（例如建筑物窗框，路面障碍锥）往往尺度上很小，直接采用 基于临近信息 的滤波器会将此类信息合并至墙面或路面中。所以DoN算法利用了多尺度空间的思想，算法如下：

1、在小尺度上计算点云法线1

2、在大尺度上计算点云法线2

3、法线1-法线2

4、滤去3中值较小的点

根据第三步得到的法线差，进行欧式分割

　　显然，在小尺度上是可以对高频信息进行检测的，此算法可以很好的小尺度高频信息。其在大规模点云（如LiDar点云）中优势尤其明显。

双边滤波、高斯滤波、条件滤波、直通滤波、随机采样一致性滤波。

VoxelGrid

2、关键点

ISS3D、Harris3D、NARF，

SIFT3D、均匀采样，曲率方法采样

3、特征和特征描述

法线和曲率计算  NormalEstimation 、特征值分析Eigen-Analysis、EGI

PFH、FPFH、3D Shape Context、Spin Image

4、点云匹配

ICP、稳健ICP、point to plane ICP、Point to line ICP、MBICP、GICP、NICP

NDT 3D、Multil-Layer NDT

FPCS、KFPCS、SAC-IA

Line Segment Matching、ICL

5、点云分割与语义分类

分割：区域生长、八叉树区域生长、Ransac线面提取、NDT-RANSAC、全局优化平面提取

　　　K-Means、Normalize Cut（Context based）

　　　3D Hough Transform(线、面提取)、连通分析、

分类：基于点的分类，基于分割的分类；监督分类与非监督分类

目前基于深度学习的点云语义分类比较热：PointNet，OctNet之类的吧，需要多加关注。

6、SLAM图优化

Ceres（Google的最小二乘优化库，很强大）， g2o、LUM、ELCH、Toro、SPA

SLAM方法：ICP、MBICP、IDC、likehood Field、Cross Correlation、NDT

7、目标识别、检索

　　Hausdorff距离计算（人脸识别），Graph Matching

8、变化检测

　　基于八叉树的变化检测

9. 三维重建

　　泊松重建、 Delaunay triangulations

　　表面重建，人体重建，建筑物重建，树木重建。

　　结构化重建：不是简单的构建一个Mesh网格，而是为场景进行分割，为场景结构赋予语义信息。场景结构有层次之分，在几何层次就是点线面等几何图元。

　　实时重建：重建植被或者农作物的4D（3D+时间）生长态势；人体姿势识别；表情识别；

10.点云数据管理

　　点云压缩，点云索引（KD、Octree），点云LOD（金字塔），海量点云的渲染