FCGF-基于稀疏全卷积网络的点云特征描述子提取(ICCV2019)

点击上方“计算机视觉工坊”，选择“星标”

干货第一时间送达

零、概要

论文: Fully Convolutional Geometric Features

标签: ICCV 2019; feature, match, registration

作者: Christopher Choy,Jaesik Park, Vladlen Koltun

机构: Stanford University, POSTECH, Intel Labs

论文、代码地址：在公众号「计算机视觉工坊」，后台回复「ICCV2019」，即可直接下载。

从点云中提取几何特征是配准、重建、跟踪等应用的第一步。SOTA的方法往往需要计算底层特征作为输入或者提取基于patch的有限感受野的特征。在本论文中，作者提出了FCGF(Fully-Convolutional Geometric Features)，它通过全卷积网络一次计算得到点云特征；作者还提出了新的度量学习损失，可以显著提升性能。FCGF是紧凑的，同时捕获了广泛的空间上下文，并可扩展到大型场景。论文中在室内数据集和室外数据集均进行了验证，FCGF在不需要预处理时达到了SOTA精度，同时比其它精确的办法快600倍，而且结构是紧凑的(32维)。

一、论文的出发点和贡献

在许多点云配准、跟踪和场景流估计(scene flow estimation)任务中，寻找几何点对应(geometric correspondences)关系是一个关键的步骤。因此，大量的工作集中在设计具有区分性的3D特征，进而建立对应关系。

早期的3D特征描述主要依赖于人工设计的特征描述子，如SHOT、FPH和FPFH等，这些局部描述子可以区分局部几何特征。最近，注意力逐渐转向了基于深度学习的三维特征，比如PPF-FoldNet(ECCV 2018)，PPFNet(CVPR 2018)和3DFeat-Net(ECCV 2018)等。之前的这些工作中存在一些问题:

• 提取小的3D patch，将其映射到低维空间。这不仅限制了感受野，而且计算效率也很低，因为即使对于重叠的三维区域，网络的中间表示也都是单独计算的。

• 使用昂贵的底层几何特征作为输入降低了特征计算的速度。

• 只对一些interest points提取特征，导致分辨率(点的数量)下降，因此降低了后续的配准精度。

全卷积网络是高效的，因为它们在具有重叠感受野的神经元之间共享中间激活(intermediate activations)。此外，全卷积网络中不是直接操作小的patch，因此神经元具有更大的感受野。而且，全卷积网络产生密集的输出，这非常适用于详细描述场景的任务。

尽管全卷积网络具有这些优点，但由于三维数据的特点，全卷积网络并没有广泛应用到三维几何特征的提取。卷积网络用于3D数据时，标准输入是一个四维的数据(x, y, z, f): 三个空间维度(x, y, z)和一个特征维度f。但