Deep Learning for 3D Point Clouds: A Survey

论文链接：https://arxiv.org/abs/1912.1203

摘要

点云学习因其在计算机视觉、自动驾驶、机器人等领域的广泛应用而受到越来越多的关注。深度学习作为人工智能的主流技术，已经成功地应用于解决各种二维视觉问题。然而，由于用深度神经网络处理点云所面临的独特挑战，点云的深度学习仍处于起步阶段。最近，关于点云的深入学习变得更加繁荣，有许多方法被提出来解决这一领域的不同问题。

为了促进未来的研究，本文综述了点云深度学习方法的最新进展。它包括三个主要任务，包括三维形状分类、三维目标检测与跟踪和三维点云分割。它还提供了几个公开数据集的比较结果，以及富有洞察力的观察和启发未来的研究方向。

Introduction

随着3D采集技术的快速发展，3D传感器变得越来越可用且价格实惠，包括各种类型的3D扫描仪、激光雷达和RGB-D相机（如Kinect、RealSense和Apple深度相机）。这些传感器获取的三维数据可以提供丰富的几何、形状和比例信息。借助于二维图像，三维数据为更好地了解机器周围环境提供了机会。三维数据在不同领域有着广泛的应用，包括自动驾驶、机器人技术、遥感和医疗。

        三维数据通常可以用不同的格式表示，包括深度图像、点云、网格和体积网格。点云表示作为一种常用的表示格式，在三维空间中保留了原始的几何信息，而不需要进行任何离散化。因此，它是许多场景理解相关应用的首选表示，如自主驾驶和机器人技术。近年来，深度学习技术已成为计算机视觉、语音识别、自然语言处理等领域的研究热点。然而，三维点云的深度学习仍然面临着几个重大的挑战，如数据集的小规模、高维性和三维点云的非结构化性质。在此基础上，重点分析了用于三维点云处理的深度学习方法。

        点云的深度学习越来越受到人们的关注，近五年来    gf还发布了一些公开数据集，例如 ModelNet、ScanObjectNN、ShapeNet、PartNet、S3DIS、ScanNet、Semantic3D、ApololCar3D和KITTI Vision基准套件。这些数据集进一步推动了三维点云深度学习的研究，越来越多的方法被提出来解决与点云处理相关的各种问题，包括三维形状分类、三维目标检测与跟踪、三维点云分割、三维点云配准等，六自由度姿态估计和三维重建。关于三维数据的深度学习的调查也很少，我们的论文是第一次专门关注点云理解的深度学习方法。图1显示了一个现有的点云学习方法。

3D Point Cloud Segmentation

Public Datasets

1. Semantic3D (ISPRS'17)

semantic-8

reduced-8

1. S3DIS (CVPR'17)
2. ScanNet (CVPR'17)
3. NPM3D (IJRR'18)
4. SemanticKITTI (ICCV'19)

给定一个点云，语义分割的目标是根据点的语义将其分割成若干个子集。语义分割有四种模式：基于投影、基于离散化、基于点和混合方法。基于投影和离散化的方法的第一步都是将点云转换为中间正则表示，如多视图、球面、体积、全自动晶格和混合表示，如图6所示。然后将中间分割结果投影回原始点云。相比之下，基于点的方法直接作用于不规则的点云。

图6：中间表示的图示。

需要进一步研究的问题有:

基于点的网络是最常被研究的方法。然而，点表示自然不具有显式的邻近信息，现有的大多数基于点的方法不得不借助于昂贵的邻近搜索机制(如KNN或ball query)。这从本质上限制了这些方法的效率，因为邻居搜索机制既需要很高的计算成本，又需要不规则的内存访问。

从不平衡数据中学习仍然是点云分割中一个具有挑战性的问题。虽然有几种的方法取得了显著的综合成绩，但它们在类标很少的情况下表现仍然有限。例如，RandLA-Net在Semantic3D的reduced-8子集上获得了76.0%的整体IoU，而在hardscape类上获得了41.1%的非常低的IoU。

大多数现有的方法都适用于小点云(如1m*1m，共4096个点)。在实际中，深度传感器获取的点云通常是巨大的、大规模的。因此，有必要进一步研究大规模点云的有效分割问题。

已有少数文献开始研究动态点云的时空信息。预期时空信息可以帮助提高后续任务的性能，如三维目标识别、分割和完成。