[Point Cloud] PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation 论文解读

PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation (CVPR 2017)

需要解决的问题：设计了一种新的可以直接处理点云，并且与点云输入顺序无关的网络，该网络模型可以用于处理物体分类、场景分割和场景语义分析。
这个问题的难点：点云格式是不规则的格式，之前有方法尝试转化成体素或者图像来分析。

Introduction

• 经典的卷积运算架构需要高度结构化的数据输入，PointNet想要处理点云和Mesh。
• PointNet可以有效提取局部和全局的特征。
• PointNet的输入是点云，输出是class标签或者每个点的分割结果。
• 每个点的基本属性就是三维的坐标，额外的属性（法向量，局部和全局的特征等）可以后续增加。
• 关键点：max pooling。
• PointNet支持刚提变换和放射变换，因此可以在运行PointNet之前增加预变换的步骤保证输入是统一标准的。

Related Work

• 点云特征，3D数据深度学习，无序集深度学习。

Problem Statement

• Easy, no math.

Deep Learning on Point Sets

• 输入点云的特点：无序（结果应该和输入到网络的顺序无关），点间交互（每一个点都是和一些点相邻的，这其中会包括重要的局部特征），变换不变性（旋转，平移不影响分类和分割结果）。
• 网络结构的三个关键点：
  1. Symmetry Function for Unordered Input: 为了保证模型和输入点的顺序无关，可以使用三种策略：把输入按照统一标准排序；把所有可能的顺序都训练一遍；使用一个简单的对称函数从每个点上获取信息。第三种方法是可行的。
  2. Local and Global Information Aggregation: 从Symmetry Function中得到的$[f_1,...,f_K]$是输入数据的全局标签。如果还要进行分割操作需要组合全局和局部的特征。将全局的特征反馈到每个点上，再在此基础上提取点特征，得到的结果就包含了局部和全局的特征。
  3. Joint Alignment Network: 为了保证分割结果和变换无关。自然的想法是把数据先转换到一个标准的空间再进行操作，但是对点云数据还可以做到更加简单。可以预测一个仿射变换矩阵然后直接把该矩阵作用于每一个点。作用于特征空间的放射变换矩阵是高维的，难以优化，需要在损失函数中增加正则项控制复杂度。
• 理论分析：
  1. Universal approximation: 这段论证证明了，在面对输入微小扰动的情况下，仍能保证结果的正确性。甚至在最差的情况下PointNet也可以达到空间体素化的结果。
  2. Bottleneck dimension and stability: PointNet网络模型本身的效果十分依赖max pooling层的位数。定理可以说明：在缺失或者有噪声的条件下仍能保证网络的稳定性，以及critical point set和bottleneck dimension的概念。总而言之，PointNet模型可以将三维模型总结成一组稀疏的关键点的集合。

总结：
传统的卷积网络无法操作非结构化的数据，PointNet针对点云格式的数据提出了一种新的网络。论文中提到点云数据具有无序性、局部关联性和需要仿射变换不变性。因此使用max pooling这种与点云输入顺序无关的函数处理全局特征。将局部点特征和全局特征融合再训练的方式解决了局部全局信息提取的问题。使用轻量级T-net预测仿射变换的方式让网络对输入具有仿射变换不变性。