Learning to Segment 3D Point Clouds in 2D Image Space（CVPR2020）论文分析

        本文创新地研究了如何有效地将点云投影到二维图像空间，借助构建图形的 Delaunay 三角剖分理论和多尺度 U-Net 网络设计 ，从而使传统的 二维卷积神经 网络 可以应用于点云分割。首先，本文利用图形绘制的理论，将点云投影问题转化为整数规划问题，学习每个点云的拓扑保持图到网格的映射；其次，本文提出了一种新的分层近似算法，来加快计算速度；最后，文中方法在 ShapeNet 和PartNet 数据集上展示了最先进的性能，如下图所示。

        本文方法在目前的点云分割方法中具有显著的提升。

     

        接下来简单解释下三角剖分和多尺度 U-Net 在文中方法的原理和应用。

 

三角剖分

 

        文中方法第一步是将点云进行连线，这其中创新地利用三角剖分的理论，如上图所示，该方法可以将点云连接成一定大小的三角形，这样做的目的是为点云各个部件聚类和 3D 投影到 2D 做准备。

多尺度 U-Net

        多尺度 U-Net 在网络中起到了分割图像的作用，可以结合上述两幅图来看， 这是多尺度 U-Net 网络结构示意图和实际效果图，Input 是 3D 投影到 2D 的图像，输出则是分割好的 2D 图像，可以通过投影函数的逆操作，生成点云分割后的 3D 点云。多尺度 U-Net 和原版 U-Net 主要差别在于 Conv1× 1 和 Conv3 × 3， 文中证明了多尺度和跳过一部分连接层的处理可以提高网络效果和计算速度，如 下表所示。

本算法分为六个部分，按顺序来分别是：

• 输入原始点云数据
• 利用三角剖分和平衡 KMeans 算法进行聚类，如上图 ，先生成中心簇点
• 然后根据中心簇点聚类生成各个部件
• 利用图形绘制（无向图的一些知识）构建 2D 网格图像，目标函数如下，即保证 3D 点云间的相对距离在 2D 中也要一一对应。

• 利用多尺度 U-Net 对 2D 图像进行分割，神经网络其实就是映射函数，
• 逆映射函数，生成点云分割后的点云