3D Shape Classification——Point-based Continuous Convolution Networks

点云分类——连续卷积

RS CNN

DensePoint

PointConv

 

在连续空间中定义卷积核，相邻点的权重与相对于中心点的空间分布有关（权重由MLP学习得到）。即邻域子集点的加权和。

代表1：Relation-shape CNN (RS CNN, CVPR2019)

RS CNN的核心操作是RS-Conv，它借鉴graph attention networks的思想，利用MLP学习邻域点集的权重w，并将学习到的权重与邻域点集的特征进行对应元素相乘。最后通过聚合函数得出采样点特征。输入到MLP的特征是邻域点与采样中心点的欧氏距离（坐标距离），或者特征距离。

 

               

                  

hij是邻域点与采样中心点的关系（距离），M是MLP, f是点特征， A是聚合函，sigma是激活函数。文章实验结果表明：1）同时使用点特征，特征距离，欧氏距离作为MLP输入效果最好。2）在收集邻域点时，在邻域内随机选点比KNN效果好。3）聚合函数max表现比avg，sum都好。

 

 

代表2：DensePoint

参考二维图像网络DenseNet结构，将不同层得到的信息进行整合（整合方式为concat)，即网络中每一层的输入都与前面所有层输出有关。

 

 

代表3：PointConv (CVPR2019)

与RS CNN 类似，但引入密度信息。原因是点密度不均匀时，学习到的特征主要受密度大的区域主导，因此要降低高密度区域点特征对全局特征的影响，因此提出了一种密度加权卷积。具体的，论文先离线计算出每个点的Density，然后使用一个MLP网络学习出inverse density，来对输入点特征Fin进行调整（re-weight）。除此之外，作者提出了一种pointconv的高效实现方式，还在点云分割阶段，将pointconv扩展到pointdeconv。

注意：PointConv的邻域点集是在坐标空间中搜索，不是特征空间，而且用的是局部坐标。聚合函数用的是sum函数。

原始的PointConv：

高效的PointConv：

 

PointDeconv由两部分组成：插值和PointConv。首先，我们使用插值来传播前一层的粗粒度特征，通过从3个最近点来进行线性特征插值。然后，使用skip links将插值特征与encode部分具有相同分辨率的特征连接起来。连接后，我们在连接的特征上应用PointConv以获得最终的反卷积输出。反复执行此过程，直到所有输入点的要素已传播回原始分辨率。

基于连续卷积的其他方法：MSCNN, SPider CNN, PCNN, KPConv（可形变卷积），spheral CNN（球面卷积）等。