点云的无序性_深度学习|点云分类：RS-CNN

本文是我在《泡泡机器人》上翻译的一篇文章，放在这里做个备份。

原文链接：RS-CNN：基于几何关系的点云分析卷积网络

一、前言

由于点云的无序性，点云分析一直是一个比较有挑战性的问题。在本篇文章中，我们提出了RS-CNN方法，即基于几何关系的卷积网络，它把原来基于有序信息的卷积网络扩展到可以适应无序信息。实现这一方法的关键因素在于从点云中提取出拓扑约束关系，进一步，卷积网络的权重在学习中也被拓扑关系约束，这样，我们就可以得到一个鲁棒的卷积网络。并且，基于这样的卷积网络，我们可以改进已有的点云识别系统，在数据集上的结果表明，它能够取得state-of-the-art的效果。

二、主要算法

1、主要思想

对于一般的点云处理任务，主要会面临以下挑战：

1）点云是无序的，因此要求学习的表示是置换不变的。

2）点云分布在3D几何空间中，因此要求学习的表示形式对刚性变换（例如旋转和平移）具有鲁棒性。

3）点云构成一个基本形状，因此，学习到的表示应具有判别性形状意识。

针对以上问题，本文提出了相应的解决办法，主要贡献如下：

1）提出了一种新型的从关系中学习的卷积算子关系形状卷积。它可以显式地对点的几何关系进行编码，从而在很大程度上提高了对形状的感知能力和鲁棒性。即RS-Conv。

2）提出一个具有关系形状卷积的深层层次结构，即，RS-CNN。将规则网格CNN扩展到不规则配置，实现点云的上下文形状感知学习。即基于RS-Conv设计的RS-CNN。

3）在三个任务中对具有挑战性的基准进行广泛的实验，以及深入的经验和理论分析，证明RS-CNN达到了SOTA的水平。

2、卷积模型（RS-Conv）

本文所提出的卷积方法的结构如下图所示：

大致可以分为以下几步：

1）首先通过FPS进行采样，得到质心；

2）在球形领域寻找近邻；

3）对于每个邻居点，计算low-level信息；

4）使用MLP将low-level信息映射成高维信息；

5）max操作，聚合所有近邻的信息作为质心的新特征。

3、卷积网络（RS-CNN）

RS-CNN用于分类和分割网络的方式如下图所示：

在这两个任务中，RS-CNN用于学习一组层次的Shapeaware表示。配置最终的全局表示形式，后跟三个完全连接的（FC）层，以进行分类。对于分割，通过特征传播对学习的多级表示进行连续上采样以生成每点预测。两者都可以端到端的方式进行训练。

三、实验

作者把该方法在ShapeNet数据集上和其他方法做了对比，结果如下表所示，从数据上看，在绝大部分形状上，本方法都取得了最好的效果。

下面给出一些本方法做分割的演示结果：