「论文阅读」PointCNN：Convolution On X-Transformed Points

目录

摘要

介绍​

PointCNN

Hierarchical Convolution

X-Conv Operator

PointCNN Architectures

---

山东大学的工作，将卷积的思想运用到点云。

摘要

由于点云是不规则的和无序的，传统卷积无法直接作用到点云上，为了解决这个问题，我们从点云中学习一个X变换，以达成以下两个目的：1）获得点输入特征的权重；2）将点排列成一个潜在的正规顺序（实现了点云的置换不变形？）。之后就可以对点云X变换之后的特征进行经典的卷积运算。本文主要是对经典的CNN卷积进行推广，以从点云中学习特征，因此成为PointCNN。

介绍

i是来自规则网格的卷积输入，ii~iv是来自点云的卷积输入。在(i)中，每个网格单元与一个特征相关联。在(ii-iv)中，从局部邻域采样点，类似于(i)中的局部小方格，每个点与一个特征、一个顺序索引和坐标相关联。

假设在ii~iv中，卷积的输入都是同样的c维输入特征的无序集合f = { fa, fb, fc, fd}，如图， 传统的卷积是作用在2维图像数据上。图像中每个像素的顺序是固定的，也就是说数据是结构化存储的。直接使用conv2d就能从这种潜在的空间结构中获取信息。

而点云数据是点集，如果直接使用卷积会出现图中234多种情况

 若直接使用卷积，则fii与fiii的计算结果是相等的，但是从图中可知，ii与iii点云形状排列其实是不同，这说明卷积无法获得点的空间位置信息。

而f3与f4的计算结果不等，但是图iii与图iv是相同的点集，必须得到相同的计算结果才合理，这说明卷积无法适应点集的N!种排列。

在本文中，作者提出利用多层感知器，从K个点坐标中学习一个K*K大小的X变换矩阵，即X=MLP(p1,p2，…，pK)，我们的目标是利用它来同时加权和实现输入特征的置换不变，然后再应用传统的卷积处理特征。这个过程称为X-conv，它是PointCNN的基本构建块。

图1中(ii)、(iii)和(iv)的x - conv可以用以下公式表示：

其中X是一个4*4的矩阵（类似于线性代数上面的初等矩阵，根据左行右列原则，实现对fa~fd的顺序进行重排），K=4(即点数)

由于Xii和Xiv是从不同形状的点学习的，它们可以不同，以便相应地加权输入特征，以实现fii ≠ fiii ； 对于Xiii和Xiv，可以通过学习使得满足