2020 AAAI
一种关注几何特征的点云分类和Part分割网络
摘要
原文 | 译文 |
---|---|
In spite of the recent progresses on classifying 3D point cloud with deep CNNs, large geometric transformations like rotation and translation remain challenging problem and harm the final classification performance. | 尽管现在利用深度CNN对点云分类取得了一些进展,但是大尺度几何变换transform比如旋转和平移依然是一个具有挑战的问题,并且对分类表现有一定的影响。 |
To address this challenge, we propose Geometry Sharing Network (GS-Net) which effectively learns point descriptors with holistic context to enhance the robustness to geometric transformations. | 为了解决这些问题,我们提出了一个几何共享网络GSNet,GSNet可以有效的学习全局特征的点表述,增强网络对于几何变换的鲁棒性。 |
Compared with previous 3D point CNNs which perform convolution on nearby points, GS-Net can aggregate point features in a more global way. | 之前的3D点云网络在邻近点上进行卷积,GSNet在聚合点特征上提出了一个更加全局的方式。 |
Specially, GS-Net consists of Geometry Similarity Connection (GSC) modules which exploit Eigen-Graph to group distant points with similar and relevant geometric information, and aggregate features from nearest neighbors in both Euclidean space and Eigenvalue space. | GSNet包括几何相似性连接模块GSC,GSC提出了特征图Eigen-Graph将距离远但是特征相似,几何相关的点聚合在一起,从而将欧式空间和特征空间上的邻近点进行聚合。 |
This design allows GS-Net to efficiently capture both local and holistic geometric features such as symmetry, curvature, convexity and connectivity. | 这样的设计使得GSNet可以有效地抓取局部和全局特征,例如对称性、曲率、凸度和连接性。 |
Theoretically, we show the nearest neighbors of each point in Eigenvalue space are invariant to rotation and translation. | 我们从理论上证明了特征图上的邻近点是旋转和平移不变的。 |
We conduct extensive experiments on public datasets, ModelNet40, ShapeNet Part. Experiments demonstrate that GS-Net achieves the state-of-the-art perfor-mances on major datasets, 93.3% on ModelNet40, and are more robust to geometric transformations. | 我们在公共数据集ModelNet40 ShapeNet 上做了很多实验。在ModelNet40上取得了目前的最好结果93.3%,而且也证明了GSNet对几何变换的鲁棒性。 |
Main contribution
- 提出了所谓的几何共享网络结构,核心是将邻近点的概念从欧式空间扩展到特征空间,也就是文中所说的distant point with similar and relevant geometric information。这样得到点特征更加丰富。
- 从理论上证明了特征空间上的邻近点对旋转和平移是不变的。
- 在ModelNet40分类上取得了不错的结果,而且对旋转和平移鲁棒。
分析
这篇文章的亮点在于引入了特征点,就是上面所提的相似特征但是不是邻近点的点,作者给了一个很形象的示意图。之前我们提取局部特征的时候,只关注欧式距离上邻近的点,作者提出有些点,虽然他们离的远但是是有关系的,比如属于同一类。下图中的飞机机翼上的点,邻近点就红色圈内一点,但是和它对称位置的点绝对是需要考虑进去的,因为他们是有关系的,或许这就是geometry sharing的意思吧,我猜的。
本文的总体网络结构如下图所示
看完这篇结合RSCNN,觉得大家都在关注几何特征。