【点云】《A Review of Deep Learning-Based Semantic Segmentation for Point Cloud》

《A Review of Deep Learning-Based Semantic Segmentation for Point Cloud》

语义分割是计算机视觉最重要的研究技术之一，其目的是将场景中的每个像素或点划分为具有特定语义类别的几个区域

点云是由一系列点组成的具有显着几何数据表示结构的点集

尽管深度学习已广泛应用于二维图像的处理，但直接对不规则、无序的3D点云进行卷积运算仍然很困难。为了使卷积神经网络适用于点云，研究人员将这些数据转换为规则的结构（即多视图、体素网格、点云），然后将其输入到网络中进行处理以实现分割

但这些方法会导致信息丢失和计算复杂度等问题。直接在原始点云上工作不仅加快了计算速度，而且提高了分割的性能。目前，已经提出了许多基于PointNe的方法

以此划分，基于深度学习的点云分割方法主要有两类：间接点云分割方法和直接点云分割方法
····间接分割方法解决了点云数据本身不便被CNN处理的问题，但存在信息丢失、计算复杂、内存占用大等问题
····直接分割方法

_间接分割与直接分割分类：_

间接-基于投影的方法

基于多视图的点云分割方法取得了优异的效果，但3D点云的投影会导致大量的损失

MVCNN：该方法的主要思想是将3D点云从多个角度投影到一些2D图像中，并利用CNN利用图像处理的方法提取每个视图的特征，然后通过视图池化层聚合从不同角度提取的特征，由于忽略了物体之间的空间关系，适合于单个物体的分割，而不是复杂的场景

Snapnet：选择点云的一些快照来生成RGB和深度图像对,增加了深度信息辅助语义分割的实现。然后，使用全卷积网络逐像素标记每对 2D 图像

间接-基于体素的方法

体素化指将非结构化点云转化为规则的体积占用网格，然后利用神经网络学习其特征来实现点云的语义分割。目前还没有具体的方法来处理转换过程中产生的定量伪影以及计算成本

VoxNet：非结构化几何数据转换为可以应用标准CNN操作的规则3D网格，然后使用3D-CNN直接从占用网格预测类别标签。存在点云稀疏导致体素网格排列效率低、计算过程占用内存大、训练时间长以及信息丢失等问题

SEGCloud：使用3D全卷积神经网络**（3D-FCNN）将大点云细分为体素网格，然后利用三线性插值层将类别分数插值到3D点。最后，使用条件随机场 (CRF)** 将原始3D点特征与插值分数相结合进行后处理

直接-基于原始点云的方法

PointNet：开山大作,直接对点进行处理。为了实现排列不变性，采用多层感知器（MLP）独立提取每个点的特征，然后使用最大池化层聚合所有点的信息以获得全局特征。此外，为了解决变换不变性问题，该框架还添加了变换网络T-Net
基于对PointNet的改进，有了如下不同的直接分割方法

直接-基于点排序的方法

解决点云数据的无序性和不规则性
Point-CNN：关键是X-conv算子。 X变换是从输入点学习到的一组权重X，它可以用于重新加权和排列每个点的关联特征，所提出的模型避免了特征随输入点顺序的变化，因此它对于X变换的特征几乎保持不变。不足之处在于该网络学习到的X变换并不完善

RSNet：由切片池化层、RNN层和切片去池化层组成。分别提取XYZ的特征向量，并输出有序的特征序列进行后处理
SO-Net：通过构造**自组织映射（SOM）**来模拟点云的空间分布，提出了点云自动编码器作为预训练

直接-基于多尺度的方法

根据物体尺度，结合多种尺度的感受野来获得全面的特征信息
PointNet++：由采样层、分组层和PointNet层组成。该模型首先通过使用FPS从输入点选择几个点作为局部区域的质心，然后根据原始网络添加一个局部区域分组模块来构建本地区域。最后，递归地使用PointNet来提取局部特征
3DMAX-Net：首先融合在多个尺度上学习到的特征，然后聚合合并后的局部特征和全局特征以提高分割的准确性，MLP最终计算每个点的分数来实现任务
3P-RNN：一种逐点金字塔池化模块，可用于聚合不同尺度的局部邻域的特征。同时，利用RNN学习空间上下文信息，实现多层次语义特征的融合

直接-基于特征融合的方法

PointNet：模型仅提取点云的全局特征，此改进将全局特征与从网络获取的局部特征相结合
A-CNN：将新设计的环形卷积应用于分层神经网络中，以实现大场景的语义分割
SpiderCNN：主要由SpiderConv单元组成，通过参数化一系列卷积滤波器，将规则网格上的卷积运算扩展到可嵌入的不规则点集

直接-基于融合图卷积网络的方法

GCNN直接对图结构进行操作，可以通过在节点之间传递信息来捕获图的依赖关系。与其他方法相比，基于GCNN的方法不仅检查点之间的关系，而且还得到边界特征
DGCNN：受到GCNN的启发，最显着的区别是构建的图是动态的，并且在网络的每一层之后更新。边缘卷积运算主要用于提取中心点的特征。同时，可以获得中心点和K个最近邻（KNN）点的边缘向量

常用点云数据集

语义分割模型的评估标准

IoU：交并比，即分割正确面积/总面积

公式表示：

mIoU：根据每个类别计算IoU，然后取平均值

OA：最简单的指标之一，计算每个随机样本的语义标注结果与真实数据的标注类型一致的概率