PointCNN：Convolution On X-Transformed Points

PointCNN: 经过X变换后的点的卷积

摘要总结
我们提出一种从点云中学习特征的通用框架。CNN网络成功的关键是卷积操作，它可以利用网格中密集数据在局部空间上的相关性（比如：图片）。然而，点云是不规律且无序的，因此，直接对点的特征进行卷积，会导致形状信息和点排列多样性的损失。我们提出通过在输入点云中学习X-转换，以此改善两个问题：（1）输入点特征的权重（2）将点排列为潜在、规范的顺序。我们将典型卷积操作符的乘与和运算，应用在X-转换后的特征上。

介绍总结
局部空间相关性是在多种数据普遍存在的性质，独立于数据的表现形式。对于表现常规的数据，比如图片，卷积操作是CNN在众多任务中表现出色的关键。然而，对于点云格式的数据，不规律且无序，想用卷积操作来获得数据之间的局部空间相关性是不合适的。

从（1a）中可以看到f2恒等于f3，f3恒不等于f4，这揭示了两个问题，即：f2的结果应该不等于f3，虽然他们对应索引的特征相同，但本质不是同一个点云；f3应该等于f4，虽然他们顺序不同，但本质是同一个点云。

寻找一种可以直接利用点云的卷积，因为点云的无序性，而卷积是一个有序的。比如如果我们如上图使用图像，因为图像具有完整的索引结构，无论怎样去卷积影响和值不会变的。如果将卷积利用于点云，因为点云的顺序是发生变化的，点是从局部邻近中降采样获得的，每个点关联于一个特征、索引和坐标。

第1种情况：上图中的ii，iii，每个点可以看作是点云，1234表示采集到的点云数据存储中的顺序，ii，iii中的数据虽然具有相同的顺序，ii中的feature a，b，c，d和ii中的feature abcd排列顺序一模一样。但是它们的形状信息不一样，那么就需要网络，可以区分出它们两个的不同，另外一种情况是如图iii和iv，iii中的feature排列是abc d，图iv的feature排列是cabd，虽然iii和iv中feature的排列顺序不同，但是他们拥有相同的形状信息以及相同的feature。

为了解决这个问题，本文作者的思路是让网络去学一个转置矩阵，比如上图中iii，它的排列顺序是abcd，经过和转置矩阵相乘之后，得到了某一种顺序能和图iv所示的cavd这种排列顺序相等。

本文作者在训练网络之后发现，理想状态下它是一个完全的转置矩阵，经过可视化分析之后，发现它分布不是很有规律，而是比较杂乱的分布。

如上图中学习出来有0.9或者1.1，在1附近的值，还有在零附近的一些值，这并不是一个理想转置矩阵，这也是本文中网络一个待解决的问题，虽然网络学习出来的不是0101矩阵，这样的特征也可以理解为这个矩阵也学到了如何在点云中提取feature的权重。

在有相同的结构信息，但有不同的顺序信息的情况下，网络自己学习到某一种特征，比如说1234，让拥有相同结构的点云，拥有相同的feature。

在拥有不同的结构，拥有相同的顺序的情况下，经过矩阵计算，得到两个feature是不想等的。 这就是本文作者想要达到目的。

达到这个目的之后，就可以利用二维图像卷积对点云数据进行操作。



利用于点云的话，第一无序性得到解决，相当于顺序发生变化但是得到的卷积效果是相同的；其次是希望不断减小feature map,通过X-conv不断聚合这些点，之后通过卷积降低它的size。
算子：X-conv Operator

X-Conv的具体步骤解析:
1.通过随机采样（分类任务）或者最远点采样（分割任务）选取代表点
2. 将邻近点的坐标转换为以代表点为原点的局部坐标系,组成矩阵
首先输入输入我们需要一个卷积核kernal，将kernal直接应用于点云中；邻域P去组织C-conv的标准单元；F是邻域中每个点的特征；输出Fp是指更新后p点的特征；把特征投射或者聚合到p点
第一步：给定一个点，以及该点的邻域以及相对应的特征；我们先实现去中心化，得到邻域。
第二步：在该邻域通过mlp学得局部邻域关系的特征，通过函数作用得到局部特征（类似于DGCNN），对特征做一个扩维，学习到X参数

PointCNN架构

N: 输出代表点的数量 C: 特征信息的维度
K: 选取邻近点的数量 D：扩张域
a图是用来做单个分类 通过输入的点云进行X-conv输出多少个点是由N决定，C=C1是决定64，128维，每个点的邻域由K=4决定，通过邻域点构建组合特征和点之间的权重
b图是通过做多个分类
c图是通过多分割，D作为一个参数相当于卷积中的跳跃

文章总结：
PointCNN是CNN从点云中表示的数据中利用空间-局部相关性的一种推广。PointCNN的核心是X-Conv算子，它对输入点和特征进行加权和置换，然后再进行典型的卷积处理。