COSeg：解决小样本点云语义分割, 使用Transform实现相关性语义分割

Abstract

本文重新审视了少样本3D点云语义分割（FS-PCS），重点关注现有最先进技术中的两个重要问题：前景泄漏和稀疏点分布。前者由于非均匀点采样而产生，使得模型可以区分前景和背景之间的密度差异，从而更容易进行分割。后者源于仅采样2,048个点，限制了语义信息，并偏离了现实世界的实践。为了解决这些问题，我们引入了一个标准化的FS-PCS设置，并在此基础上建立了一个新的基准。此外，我们提出了一种新颖的FS-PCS模型。与以前主要通过优化支持特征以增强原型的特征优化方法不同，我们的方法基于相关优化，称为相关优化分割（COSeg）。具体来说，我们为每个查询点计算特定类别的多原型相关（CMC），表示其与类别原型的相关性。然后，我们提出了超相关增强（HCA）模块来增强CMC。此外，为了解决少样本训练固有的导致模型基类易感性的特性，我们建议在训练过程中为基类学习非参数原型。学习到的基类原型通过基类原型校准（BPC）模块来校准背景类的相关性。在流行数据集上的实验表明，COSeg优于现有方法。

代码地址：github.com/ZhaochongAn/COSeg

Introduction

深度神经网络的快速进展推动了对各种应用中3D点云理解的探索。与图像不同，点云固有地捕捉到复杂的物体结构，从而实现细粒度分析。为了减少创建数据集所需的大量人工工作，少样本点云语义分割（FS-PCS）成为一项关键任务，使3D分割模型能够在少量注释样本的情况下推广到新类别。

然而，我们发现当前FS-PCS设置中存在两个重要问题：（1）前景泄漏。常见的3D分割实践是从场景中随机采样点，但FS-PCS中的采样过程是非均匀的，更偏向于前景点。这导致前景泄漏，即前景类的显著密度偏差。此前的模型利用密度差异进行更轻松的分割，回避了学习新类别的必要知识适应模式。结果，当前的基准无法反映先前模型的真实性能。（2）稀疏点分布。由于标签传播模块的巨大计算负担，当前设置在训练和推理过程中仅采样2,048个点。这种稀疏的输入分布限制了模型可用的语义信息，阻碍了其识别能力的有效提升。此外，这种输入偏离了现实场景，降低了该领域研究进展的整体价值。

为了引导研究朝着正确的方向发展，我们通过提出一个更严格的设置来标准化FS-PCS任务。具体来说，我们修正了前景泄漏，并通过使模型能够处理大量点来改进框架，使其更接近现实场景。在这种合理设置中，我们系统地重新评估现有方法，为未来研究建立了一个新的有效基准。

我们进一步引入了一种新颖的FS-PCS模型，称为相关优化分割（COSeg）。如图1所示，现有的FS-PCS模型基于特征优化，即优化支持特征以增强原型或通过与支持特征的细粒度交互来优化查询特征。我们提出通过优化每个查询点计算的特定类别的多原型相关（CMC）来直接塑造查询点与类别原型之间的关系。基于CMC，我们引入了超相关增强（HCA）模块，通过在超空间中积极交互点和类别原型来增强相关性。

此外，在FS-PCS采用的元学习框架中，模型在已见/基类上进行训练，并在未见/新类上进行评估，暴露出固有的易感性。具体来说，这些模型在测试场景中容易受到熟悉的基类的影响，从而妨碍新类的准确分割。为减轻这种易感性，我们提出了一种新方法：在训练阶段以非参数和动量驱动的方式学习基类的原型。我们引入的基类原型校准（BPC）模块利用这些学习到的基类原型来校准背景类的相关性。这种校准有效地减轻了基类易感性问题，提高了模型的准确性。

我们在经过合理设置的基准上系统地评估现有方法，并在S3DIS和ScanNet数据集上比较COSeg和其他方法。我们的实验不仅揭示了先前任务设置的不利影响，还突出显示了我们方法的出色性能。通过大量消融研究，我们进一步深入了解了我们设计的有效性，并展示了CMC范式在FS-PCS中的卓越能力，为未来的研究提供了新思路。

Method

与传统的特征优化方法不同，我们提出的COSeg模型建立在相关优化范式之上，利用类别特定的多原型相关（CMC），允许直接优化每个查询点和类别原型之间的关系。图3展示了COSeg的流程。在接下来的部分中，我们在1-way 1-shot设置下介绍我们的模型。

3.1 相关优化分割（COSeg）模型

3.2 超相关增强 (HCA)

我们提出的类别特定的多原型相关（CMC）表示每个查询点与所有类别原型的相关性。为了增强这些相关性，我们引入了超相关增强（HCA）模块，利用两种基本关系。首先，查询点相互关联且依赖。它们与所有原型的相关性也是相互连接的，形成点-点关系。其次，将单个点分类为前景或背景取决于它与前景或背景原型的相对相关性，形成前景-背景关系。对于N-way设置，这扩展为前景-背景关系，考虑到所有类别之间的相对相关性。提出的HCA通过利用点-点和前景-背景关系来优化相关性。

(1)线性注意力

由于3D点云的不规则性质，具有排列不变性属性的注意力机制非常适合于点云处理。我们采用线性注意力，因为它具有全局感受野和卓越的线性计算效率。
 

(2)MLP增强：

(3)前景-背景关系：

(4)元学习性能：

通过HCA模块，模型不仅能在空间维度上增强交互，还能在类别空间中进行交互，从而显著提高元学习性能。

3.3 基础原型校准（Base Prototypes Calibration）

Experiments

实验设置

网络架构:我们使用 Stratified Transformer的前三个模块作为我们的主干网络。最后两个模块生成的特征分辨率分别为原始点云的1/4和1/16。我们对1/16特征图进行插值，将其上采样至4倍，并将其与1/4特征图连接，随后通过一个MLP获得通道维度为192的最终特征。对于 S3DIS 数据集，我们采用了两层 HCA 模块。由于 ScanNet语义更丰富，我们使用了四层 HCA 模块。最终解码器由一个 KPConv层和一个 MLP 组成。

结论

总结而言，本文的贡献包括：

1.我们识别了当前FS-PCS设置中的两个重要问题：前景泄漏和稀疏点分布，并通过引入严格的设置和新基准进行了标准化。
2.我们提出了一种新颖的相关优化范式，基于特定类别的多原型相关（CMC），使用超相关增强（HCA）模块来直接塑造查询点的类别关系。
3.我们通过引入非参数基类原型和基类原型校准（BPC）模块来解决元学习中的基类易感性问题，以校准背景类的相关性。

引用CVPR2024文章

Rethinking Few-shot 3D Point Cloud Semantic Segmentation

关注我的公众号auto_driver_ai(Ai fighting), 第一时间获取更新内容。