【计算机视觉】简述对PAConv(对点云分割的动态核卷积)的理解

对于点云分割来说，最重要解决的问题基本上有两个，一个是点云的无序性问题，另一个是点云的不规则和稀疏问题。对于前者的问题，其实2017年的PointNet提出的对称函数(max pooling)就已经解决了，但是目前有很多取代之的方法。后者，很多网络利用学习邻域局部特征，编码相对位置特征解决，KPConv提出了一种可变形的Kernel，但是它的核点是固定的，针对不同的场景可能还需要进行改变，PAConv中的Kernel的灵活性要更高一点，而且PAConv的网络结构具有很大的灵活，可以利用其他先进网络的backbone。

PAConv的新颖点就是首先储存一个M数量的权重矩阵，按理来说，如果M的值越大，说明权重矩阵的多样性比较丰富，但是比较多的权重矩阵会导致计算量变大，产生冗余，降低效率。储存好权重矩阵后，需要将权重矩阵映射到三维点云空间中，PAConv设计的是一种ScoreNet，俗称打分网络，其实可以理解为通过搜索邻域后的一个相对位置关系学习到。

上面的公式中，θ是多层感知器实现的非线性函数，α是归一化函数，我们假设邻域搜索到了K个点，每个点和中心点都会学习到M个打分，一共就有K×M个打分系数。假设第一个邻域点的M个打分系数和储存的M个权重矩阵进行逐个相乘最后Sum求和，得到第一个Kernel，一共就有K个Kernel，再用这K个Kernel去卷积输入特征，最后利用SOP(对称运算)进行下采样，完成特征聚合。


对于分类和部分分割网络，PAConv是在DGCNN的Backbone上进行修改的，它将DGCNN网络中的EdgeConv替换为PAConv，用于提取特征。

对于大场景级别的语义分割任务，它是用PointNet++作为主干网络，将下采样中的PointNet提取特征部分换为PAConv提取特征，上采样中的其他部分都是PointNet++原有的网络，没有改动。
PAConv在比较先进的ModelNet、ShapePart、S3DIS数据集上达到了比较好的效果，消融实验证明ScoreNet在以三个方向(x,y,z)都提取特征时的效果是最好的，并且拼接了点之间的欧式距离。针对归一化函数，softmax优于其他方法。针对储存的权重矩阵数量M，在作者实验中，发现M为16时的结果最好，但是小劣势就是参数比较大，导致计算时间比较长。