KPConv：Felxible and Deformable Convolution for Point Clouds

Abstract

提出核点卷积（kernel point convolution)来直接处理点云。卷积核的权重是由欧几里得空间中的核点，使得输入点云更加靠近核点。

Introduction

• 卷积操作连接局部区域的信息在2D网格上，但是抛去规则结构，卷积操作不能被定义正确。
• 点云与网格数据相比，它是无序的、稀疏的、不规则的，但是与网格数据有空间定位的共性。在网格中，特征有他们在矩阵中的序号进行定位，但是在点云中是由对应的点的坐标进行定位的。
• 点云可以看作有两个部分组成，一个是点的坐标$$P\in R^{N\times 3}$$, 一个是点的特征$$F\in R^{N\times D}$$。其中D是特征通道数。因此点云可以看成是一个结构化的元素，特征就是真实的数据。
• 核点卷积（Kernel Point Convolution）：定义一系列核点去决定核权重应用区域。核权重的应用区域是由一个相关性函数决定的。
• 可变形的核卷积版本（deformable version）：学习关于核点的局部偏移量。在不同的卷积位置生成不同的偏移量。这意味着卷积核能够适应不同的输入点云的形状。
• 采样方式：选择基于球半径的采样方式，并非基于KNN的采样方式。因为KNN的采样方式在非均匀分布的设置下是不鲁棒的。
• 固定式的KPConv适合简单任务，如物体的分类，而可变性的KPconv适合复杂任务，如语义分割和实例分割。

Related works in Introduction

论文提到处理点云数据的方法可以分为以下几种：

1. 基于网格的方法：原理就是将稀疏的三维点云投影到规则的结构上，以使得卷积操作的定义能够更加简单。
2. 基于多层感知机的方法。
3. 定义一个新的能够直接在点上进行处理的卷积操作。这些方法使用点云的空间定位属性和空间核来定义点卷积。

Related works

• 基于多视角的方法：这种方法过重的依赖于切面估计
• 基于体素化的方法：因为采用严格大小的卷积核，导致这些网络缺乏灵活性
• 基于点级MLP的方法：虽然采用多层感知机的方法能够你和任何的连续函数，但是采用这样的多层感知机会使得卷积操作更加的复杂，导致网络的收敛更加的困难。

Method

这个章节主要描述的是核点卷积的一个具体实现过程。在论文发表的时候，提交的代码是基于tensorflow的KPCONV，后续也发布了基于pytorch的代码KPCONV_pytorch。
1、降采样以解决多密度的问题。本文采用的是网格的下采样在每一个空网格块中，选择重心作为支持点（可能就是采样点，但论文中的描述就是support point）。
2、池化层：每一个池化之后，网络都会扩张网格的大小到原来的二倍。文章采用的是带步长的KPconv。具体可以参考二维卷积。
3、卷积层：卷积层的输入有三个，一个是输入点的坐标（也就是几何信息），一个是点的特征（也就是显式语义特征），还有一个就是采样点的领域点的序号（我觉得可以理解为要学习的或者说隐式的语义特征）。