PointNet

PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation

CVPR 2017

---

摘要

点云是几何数据结构的一种重要类型。 由于格式不规则，大多数研究人员将此类数据转换为规则的3D体素网格或图像集合。 但是，这使数据变得庞大并引起问题。 在本文中，我们设计了一种直接处理点云的新型神经网络，该网络很好地考虑了输入中点的排列不变性。 我们的网络名为PointNet，为object classification, part segmentation, scene semantic parsing提供了统一的网络结构。 尽管很简单，但PointNet高效。它表现出同等或优于现有技术的强大性能。 从理论上讲，我们提供分析以了解网络学到了什么，以及为什么网络在抗输入扰动和破坏方面鲁棒。

问题

大多数研究人员将此类数据转换为规则的3D体素网格或图像集合。 但是，这使数据变得庞大并引起问题。

创新

主要贡献如下：
（1）设计了一种新网络，适用于处理无序点云；
（2）网络来执行多种任务：3D shape classification, shape part segmentation and scene semantic parsing ；
（3）对方法的稳定性和效率进行了详尽的经验和理论分析；

数据集

• ShapeNet part data set²

网络结构

三个关键模块：the max pooling layer as a symmetric function； a local and global information combination structure； two joint alignment networks that align both input points and point features.

• Symmetry Function for Unordered Input（为了对于不同的输入顺序模型不变，假设了三种策略,结果max pooling 效果最好 ）

• 

  Symmetry Function定义：

a function of n variables is symmetric if its value is the same no matter the order of its arguments. For example, if f=f(x₁,x₂) is a symmetric function, then f(x₁,x₂)=f(x₂,x₁) for all x₁and x₂ such that (x₁,x₂) and (x₂,x₁)are in the domain of f.

h:用mlp估计
g: 用a single variable function + a max pooling function估计

• Local and Global Information Aggregation ：Segmentation Network

• Joint Alignment Network

  解决方案是在特征提取之前将所有输入集与规范空间对齐。

  T-net ：feature extraction+max pooling + fully connected layers

  T-net预测仿射变换矩阵，并将该变换直接应用于输入点的坐标。

  这个想法也可以进一步扩展到特征空间的对齐。 我们可以在点特征上插入另一个对齐网络，并预测一个特征转换矩阵以对齐来自不同输入点云的特征。但是，特征空间中的变换矩阵比空间变换矩阵具有更高的维数，极大地增加了优化的难度。 因此，我们在softmax训练损失中添加了一个正规化项。 将特征转换矩阵约束为接近正交矩阵：

其中A是由T-net预测的特征对齐矩阵。 正交变换不会丢失输入中的信息。

结果

Notes

• 数据预处理(采样+归一化+旋转+点位置抖动)

We uniformly sample 1024 points on mesh faces according to face area and normalize them into a unit sphere. During training we augment the point cloud on-the-fly by randomly rotating the object along the up-axis and jitter the position of each points by a Gaussian noise with zero mean and 0.02 standard deviation.

• 定理1要证明的是设计的网络结构能够模拟任意一个连续（依照具体定义）的函数，且最差的情况是将空间内等分成立方体。

• 定理2证明了小的扰动或多余的噪声点不太可能引起网络的输出变化。 ³

引用

[2] L. Yi, V. G. Kim, D. Ceylan, I.-C. Shen, M. Yan, H. Su,C. Lu, Q. Huang, A. Sheffer, and L. Guibas. A scalable active framework for region annotation in 3d shape collections.SIGGRAPH Asia, 2016. 6, 10, 18

[3]https://blog.csdn.net/ShuqiaoS/article/details/83000140

链接

• 项目地址