【计算机视觉】简述对InterpCNN（内插值卷积）的理解

今天给大家分享一篇ICCV2019年的另一篇关于点卷积的文章，看点卷积的文章的原因是基于体素的网络虽然在处理点云分割时会具有比较良好的效果，但是其计算量比较大，耗费的内存比较多，所以着重研究了基于点的文章，在看完RandLA-Net之后，我对它网络的一个LFA设计的思想很有感触，通过这种方法来聚合点的特征是非常好的决定，今天这篇论文题目是3D点云上的内差值卷积。
这篇论文的一个好处是它可以处理不规则输入的点云，而在我们的理解中，点云一般都是不规则、无序的，对于像逐点MLP的网络，它们都是结合利用中心点和领域点的关系，进行下采样，对于点卷积的文章来说，它们大多数是先通过FPS采样，然后利用KNN或者Ball quary的方法搜索领域，之后通过Kernel进行卷积聚合特征（下采样），这篇内插值卷积的论文中它说的贡献有两点，一是它的内插值运算是置换和稀疏不变的，可以直接处理不规则点云，另一点是在点云分类和分割处理上高于图神经网络和3D卷积神经网络。

针对点集上的卷积来说，对于标准的网格或者图像来说，2D和3D卷积神经网络在处理时已经展现了很好的研究成果，但是对于不规则的点云，已经有了很多的卷积变体，像KPConv中的可变形的空间Kernel，PointCNN中的X变换特征，它们都利用不同的方法去聚合特征，InterpCNN利用的是一种内插值的卷积方法，它整体的公式如下，
其中T代表了插值函数，Np是密度归一化项，离散核的权重的话需要注意的就是它有一个尺寸l的定义，在网络中是一个向量的表现形式，插值函数的话简单来说就是在核权重向量附近找一组输入点，插值它们的特征来分配给该权重向量进行卷积，我个人的理解其实就是构建中心点和邻域点的关系还是，就是学习一个相对位置关系特征，只不过这个是通过插值函数实现的，InterpCNN整体算法如下：

这个算法简单理解就是先采样，然后通过相对坐标计算出Pδ，之后利用核点相对坐标和Pδ通过T算出插值权重，结合全局特征得到新的特征，然后利用Kernel对其得到的特征向量进行卷积，最后得到一组新的特征，该算法返回值是新的点和新的特征（聚合的点和聚合的特征）。对于InterpCNN构成的分类和分割网络如下：

分类网络采取的是3个不同尺寸的核插值卷积函数，进行点特征的提取，并且这样连续提取特征两次，之后利用maxpooling聚合特征，并且解决点云的排序不变性，然后加上FC层后将特征连接起来。分割网络有点类似于U-Net网络结构，先利用InterpCNN聚合特征，进行网络的下采样，并且提升网络的维度，防止丢失关键信息，然后聚合之后，上采样还原到原始的点，并且和上文的信息进行融合，完成分割。实验效果证明在ModelNet40上和S3DIS上的效果都优于图卷积网络和部分逐点MLP网络，还有很多实验在此不做解释。


以上是我对这篇内插值卷积网络的理解，如果有不对的地方，请多多指正！！！