【CVPR 2024】RepKPU: Point Cloud Upsampling with Kernel Point Representation and Deformation

RepKPU：具有核点表示和变形的点云上采样

作者：Yi Rong, Haoran Zhou, Kang Xia, Cheng Mei, Jiahao Wang, Tong Lu
（Paper, Github）

摘要

在这项工作中，提出RepKPU，这是一种高效的点云上采样网络。建议通过利用更好的形状表示和点生成策略来提高上采样性能。受KPConv[47]的启发，提出一种新的表示RepKPoints来有效地表征局部几何，其相对于先验表示的优势如下:(1)密度敏感;(2)大的接受域;(3)位置自适应，使RepKPoints成为先前表示的广义形式。此外，提出一种新的范式，即核到位移生成，用于点生成，其中点云上采样被重新表述为核点的变形。具体来说，提出KP-Queries，它是一组具有预定义位置和学习特征的核点，作为上采样的初始状态。使用交叉注意机制，实现RepKPoints和KP-Queries之间的交互，然后将KP-Queries转换为位移特征，然后使用MLP预测KP-Queries的新位置，作为生成的点。大量的实验结果表明，RepKPU在几个广泛使用的基准数据集上优于最先进的方法，具有较高的效率。

图 1. 我们在 2D 点上主要思想的图示。以4×upsampling任务为例:(a)早期的方法[38,65,68]使用特征向量(黄色)来表示局部区域，并使用折叠或特征扩展操作生成点。(b) 最近的工作[58,75]采用局部聚合操作进行点上采样，即通过总结局部语义信息生成新的点。( c) RepKPU 将局部特征编码为一组核点（橙色三角形）作为局部形状表示，并让这种表示指导另一组核点（绿色圆圈）的变形以生成点。

引言

如今，由于3D采集技术的快速发展，3D视觉对研究的需求很高。点云是3D数据最常见的描述，广泛应用于现实世界的应用[18,34,37,49]。然而，真实扫描的点云通常是噪声和稀疏的，限制了它们在下游任务中的进一步应用，例如分类、重建和分割。为了缓解这个问题，各种深度学习算法点云上采样已经开发出来[19,38,64,65]。如图1所示，点云上采样的目标是从有噪声和稀疏的输入中生成干净和密集的点云;因此，上采样模型可以集成到其他相关任务方法中，如点云补全[58,75]。

现有的上采样方法主要可以分为两类：基于生成和基于细化。基于生成的方法[19,38,43,65]主要分为两个步骤:(1)特征提取:在此阶段提取每个点的几何特征;(2)坐标预测:根据提取的特征预测新点的坐标。然而，由于难以预测 3D 坐标，基于生成方法存在异常值或收缩伪影 [12, 24]。基于细化的方法[4,12,20,24,27,51]主要包括:(1)粗生成:采用简单插值或添加噪声生成上采样粗点云;(2)特征提取:从粗点云中提取特征;(3)细化:根据提取的特征估计的距离函数细化点坐标。然而，从低分辨率和有噪声的点云中学习精确的距离函数(如sdf[32]或udf[6])是困难的[15,22,25]，因此，这些基于细化的方法的性能仍然有限。

为了缓解上述问题，我们提出了一种新的网络，即RepKPU，用于点上采样。RepKPU主要基于提出的上采样范式，即核到位移，如图1 (c )所示。我们对提高上采样质量的洞察是引入更好的形状表示和点生成策略，在本文中，我们展示了两者都可以通过利用核点[47]来实现。通过重新审视KPConv[47]，我们首先总结了KPConv和核点成功背后的两个关键成分:(1)丰富的几何信息: 由于几何感知的加权平均和分离的卷积权值，不同的核点可以表示不同的几何模式;(2)柔性变形:核点的位置可以适应局部几何，如可变形KPConv所示。受此启发，我们将点云上采样重新表述为核点表示引导的核点变形过程。

具体来说，从局部形状表示的角度来看，早期的工作通常采用形状向量，并将点上采样公式化为逐点分割（见图 1（a））。最近的一些方法[58,64,75]利用局部补丁(即k近邻的集合)，然后通过聚合补丁的特征生成点(见图1 (b))。与它们不同的是，我们提出了核点表示(即RepKPoints)，通过将局部特征编码到RepKPoints中来有效地表征局部几何(见图1 ©)。按照KPConv的精神，RepKPoints是一组以每个输入点为中心的核点，每个核点包含一个位置和特征来表示一个特定的几何模式。RepKPoints 比以前的局部表示具有以下优点：（1）密度敏感。我们使用球查询[36]来搜索大小由局部密度决定的邻居点集。(2) 大的感受野。我们使用较大的搜索半径进行球查询;因此，大量的局部点可以压缩编码为少量的核点。(3) 位置自适应。RepKPoints的位置可以适应局部几何，如可变形KPConv，如果核点坍缩到中心点或移动到相应的相邻点，RepKPoints将退化为特征向量或局部补丁。

从点生成的角度来看，通常基于折叠的方法[61,68]在提取特征的指导下，将2D网格采样的2D坐标投影到曲面上(见图1 (a))。给定采样率 r，特征扩展操作 [38,58, 64] 通过 MLP 或反卷积将逐点特征分成 r 次（见图 1 (a))。与它们不同的是，我们设计了用于上采样的内核到放置生成。具