PointCNN 论文翻译解析

1. 前言

卷积神经网络在二维图像的应用已经较为成熟了，但 CNN 在三维空间上，尤其是点云这种无序集的应用现在研究得尤其少。山东大学近日公布的一项研究提出的 PointCNN 可以让 CNN 在点云数据的处理刷新了多项深度学习任务的纪录。由于项目需要，我对PointCNN论文的核心部分做了翻译及部分解析，希望能够帮助大家更好地学习理解PointCNN。

2. 概述

如Fig1，传统的卷积作用在二维图像上。在图像中数据是结构化存储的。直接对图像应用卷积核 就能从这种二维空间结构中获取信息。而点云数据是无序集，如果直接使用卷积会出现(1)中ii,iii,iv的情况

如上图所示，由于卷积操作的性质，$f_{ii}$与$f_{iii}$的计算结果总是相等的，而$f_{iii}$与$f_{iv}$的计算结果在大多数情况是不相等的。很显然，直接卷积会导致形状信息的变形并且使卷积结果对于顺序敏感。

而PointCNN里采用的是这样的策略：

从前一层的数据中取K个候选点$(p_1,p_2,...p_K)$，使用MLP(多层感知器)来学习一个$K×K$ 的变换矩阵（X-transformation，X变换）也就是说$X=MLP(p_1,p_2,...p_K)$，然后用它同时对输入特征进行加权和置换，最后对经过变换的特征应用典型卷积。我们称这个过程为X-Conv，它是PointCNN的基本构建模块。

对(1)中的 (ii),(iii),和(iii)的X-conv可以表示成这样：

在这里 这些 X变换 是4×4的矩阵，因为Fig1中K=4。

因为$X_{ii}$，$X_{iii}$是从不同形状的点集中学习得到的变换，它们可以对不同的点对应的进行加权，因此使得$f_{ii}$不再等于$f_{iii}$。

对于$iii$和$iv$，如果我们通过学习使得$X_{iii}=X_{iv}×\Pi$ ，$\Pi$ 是一个排序矩阵用来将$(c,a,b,d)$变成$(a,b,c,d)$,就可以实现$f_{iii}\equiv f_{iv}$。

从Fig1 中的例子分析可以看出，当X-Conv 搭配 理想的X变换 时，能够在考虑点集形状的同时，不依赖于输入点的顺序。

在实验中，我们发现学习到的X变换并不是很理想，特别是在排序等价性方面。

尽管如此，使用X-Conv构建的PointCNN仍然明显优于直接对点云应用传统卷积，相比为点云数据设计的最先进的非卷积神经网络（例如，PointNet ++）有着相近甚至更好的表现。

3. 分层卷积

类比图像CNN的卷积，图像CNN的输入是