论文地址：[2203.05272] Contrastive Boundary Learning for Point Cloud Segmentation (arxiv.org)
目录：
摘要
点云分割是理解3D环境的基础。然而，目前的三维点云分割方法对场景边界的分割效果较差，影响了整体分割效果。本文主要研究场景边界的分割问题。因此，我们首先探讨在场景边界上评估分割性能的指标。为了解决在边界上的性能不理想的问题，我们提出了一种新的对比边界学习(CBL)框架用于点云分割。具体而言，提出的CBL通过在多个尺度上借助场景上下文对比点的表示，增强了跨边界点之间的特征区分。通过在三种不同的基线方法上应用CBL，我们的实验表明，CBL不断地改进不同的baselines，并帮助它们在边界上获得引人注目的性能，以及总体性能，例如在mIoU中。实验结果证明了该方法的有效性和边界对三维点云分割的重要性。代码和模型将在 GitHub - LiyaoTang/contrastBoundary: Contrastive Boundary Learning for Point Cloud Segmentation公开提供。
1.简介
3D点云语义分割的目的是为每个 3D数据点分配语义类别，而健壮的3D分割对于各种应用非常重要[19,64]，包括自动驾驶、无人机和增强现实。
然而，尽管已经开发了各种各样的点云分割方法，但是对于三维点云的边界却很少关注。对场景边界进行精确的分割是非常重要的。首先，一个干净的边界估计可以有利于整体分割性能。例如，在二维图像分割中，对边界的精确分割是生成高保真掩模的关键[8,36,69]。其次，比较对于通常三维点比例较大的物体类别，如建筑物、树木等错误的边界分割会在很大程度上影响点较少的物体类别(如行人、柱子等)的识别。这对于自动驾驶等应用来说尤 其危险，例如，如果自动驾驶汽车无法准确识别边界，就会撞到路边。
遗憾的是，以往的3D分割方法往往忽略了对场景边界的分割。虽然已经有一些方法考虑了边界，但它们仍然缺乏明确和全面的研究来分析边界区域的分割性能。它们在整体分割性能上也不尽人意。
因此，为了对边界分割进行更深入的研究，我们首先探讨了在场景边界上的分割性能的量化指标。在揭示了令人不满意的性能后，我们提出了一种新的对比边界学习(CBL)框架来帮助优化边界分割性能，特别是在不同的基线方法中，该框架也持续提高了整体性能。特别是目前流行的分割度量缺乏对边界的具体度量，得现有方法难以揭示边界分割的质量。为了更清楚地了解边界上的性能，我们分别计算了边界区域和内(非边界)区域的常见的平均交叉并集(mIoU)。通过比较区域类型的性能和整体性能，可以直接揭示边界区域性能不理想的情况。此外，为了更全面地描述边界性能，我们考虑了 ground truth中的边界与模型分割结果中的边界的对齐。因此，我们引入了在二维实例分割中常用的边界 IoU[8]评分(B-IoU)进行评价，该评分与mIoU的整体性 能相比也低得多。
在确定边界分割困难后，我们进一步提出了一种新的对比边界学习(CBL)框架，以更好地对齐模型预测的边界与地面真实数据的边界。如图 1 所示，CBL 优化了边界区域内点的特征表示模型，增强了跨场景边界的特征分辨能力。此外，为了使模型更好地感知多语义尺度下的边界区域，我们还提出了一种子场景边界挖掘策略，该策略利用子采样过程发现每个子采样点云中的边界点，即子场景。具体来说，CBL 在不同的子采样阶段进行操作，有助于3D分割方法学习更好的边界特征表示区域。
根据经验，我们在四个数据集上用三个 baselines 进行实验。我们首先展示了使用当前的点云分割方法在边界区域上令人不满意的性能，然后展示了 CBL 可以帮助基线实现有前途的边界和整体性能。例如，提出的 CBL 可以帮助 RandLA- Net 在Semanic上超越目前最先进的方法。使基本的ConvNet 在 S3DIS数据集上实现领先的性能。
我们的贡献如下:
•我们探索当前三维点云分割中的边界问题，并使用考虑边界区域的度量来量化它，例如边界 IoU。结果表明，目前的方法在边界区域的精度比它们的整体性能差得多。
•我们提出了一种新的对比边界学习(CBL)框架，该框架通过对比场景边界上的点特征来改善特征表示。从而提高了边界区域的分割性能，进而提高了整体性能。
•我们进行了大量的实验，结果表明 CBL可以显著地、持续地改善所有 baselines 的边界面积和总体性能。这些实验结果进一步证明了 CBL对提高边界分割性能是有效的，准确的边界分割对于增强三维分割的鲁棒性至关重要。
2.点云分割。
点云语义分割的目的是为每个三维点分配语义标签。近年来，深度学习方法已经取代了传统的使用手工特征的方法[33,50]。传统的深度学习方法大致可以分为基于投影的方法和基于点的方法。
基于投影的方法将三维点投影到网格状结构上，可以是二维图像[7,32,43,65]，也可以是三维体素[9,22,52,57]。对于二维图像平面，我们可以利用已有的二维图像处理研究。然而，一个完整的3D分割通常需要采取多视点和重新投影[4,35]，这可能会导致表面遮挡。对于三维体素，考虑到三维空间中存在较大的空值，提出了稀疏卷积[16,17,61]，以缓解构建体素时的资源消耗。通常，体素分辨率会导致失去细节和需要资源的[46]之间的权衡。基于点的网络直接在3D点上运行，而PointNet[45]是这个方向上的一项开创性工作，它使用逐点的MLPs来处理逐点的特征。在这一成功之后，最近的作品采用了编码器-解码器范式[47]。提出了各种局部聚合模块来检查点云中的局部上下文，包括3D卷积[3,37,53,62]、注意操作[18,26,73]和基于图的操作[34,60]。为了更好地处理非结构化点云，我们还考虑了子采样[5,11,67,68]、上采样[48,56]和后处理模块[28,41]的增强点云表示。尽管在不同的模块中有这些发展，但是点云分割的边界却很少被探索。
分割中的边界。边界问题在二维图像处理中有着悠久的历史[8,36,42,69]，但只有少数作品[15,28]认识到边界在三维点云分割中的意义。然而，这两项工作都涉及复杂的显式边界预测模块[15,28]或局部聚合[28]。这些操作在很大程度上增加了模型的复杂性，但对总体指标的性能增益有限。对于边界上的分割性能，也只能给出定性的结果。相比之下，我们提出了一个对比学习框架，它给模型带来的开销很小，并且可以通过简单的自适应改进各种baselines。此外，我们想要注意的是，我们第一次用数值度量量化边界质量，并证明边界问题确实广泛存在于当前的方法中。
对比学习。对比学习[6,13,23,31,55,66]在计算机视觉任务的表示学习中显示出了很有前景的性能，从无监督设置到监督设置。在最近的研究中，对比学习也被引入了二维分割[58,59]以及点云处理中的无监督表示学习[25,39,63]。特别是PointContrast[63]通过逐点对比学习克服了几何变换，如刚性变换。P4Contrast[39]提出了一种更加灵活的对比策略，促进几何信息和RGB信息的多模态融合。相比之下，在我们的工作中，我们采用了一个有监督的设置，并使用CBL证明了对比学习非常适合改善边界区域的分割质量。此外，与上面只使用输入点云上的点不同，我们利用次采样点云在多个尺度上检查场景上下文。
3.边界分割
由于目前的研究主要集中在对一般度量标准的改进上，如平均相交于联合(mean intersection over union, mIoU)、总体精度(overall accuracy, OA)和平均精度(mean average precision, mAP)，因此在点云分割中的边界质量往往被忽视。与最近的边界相关研究[15,28]只给出边界的定性结果不同，我们是第一个对边界分割的质量进行量化的研究。特别地，我们引入了一系列的表现指标，包括mIoU@boundary, mIoU@inner和2D实例分割任务的边界IoU (B-IoU)分数[8]。基于地面真实数据，如果在其邻域存在具有不同注释标签的点，则将其视为边界点。同样，对于模型预测，如果附近存在具有不同预测标号的点，则将一个点视为边界点。更正式地，我们将点云记为X，第i个点记为xi，其局部邻域为Ni = N(xi)，对应的ground truth标签为li，模型预测标签为pi。我们进一步注意到groundtruth中的边界点集为Bl，预测分割中的边界点集为Bp，因此有:
其中，我们将ni设为半径为0.1的半径邻域，遵循通常的做法[40,53]。为了检验边界分割结果，一种直观的方法是计算边界区域内的mIoU，即mIoU@boundary。为了进一步比较模型在边界和非边界(内部)区域的性能，我们进一步计算了内部区域的mIoU，即mIoU@inner。假设在整个点云X上计算mIoU为:
其中K为类的总数，1[·]表示一个布尔函数，如果[·]内的条件为真，则输出1，否则输出0。我们将mIoU@boundary和mIoU@inner定义为:
其中X−Bl为内部区域的点集。然而，mIoU@boundary和mIoU@inner在模型预测分割中不考虑假边界。受到二维实例分割中边界IoU[8]的启发，为了更好的评价，我们考虑了分割预测中的边界与地面真实数据中的边界的对齐。因此产生了下列B-IoU供评价:
4.方法
在本节中，我们将介绍我们的对比边界学习(CBL)框架，如图2所示。它利用对比学习来增强跨边界的特征识别能力。然后，为了深入提升模型在边界上的性能，我们通过子场景边界挖掘，使下采样点云即子场景中的CBL得以实现。对比边界学习。我们遵循广泛使用的InfoNCE loss[55]及其推广[13,20]来定义边界点上的对比优化目标。特别地，对于边界点xi∈Bl，我们鼓励学习到的表示更类似于来自同一类别的相邻点，也更区别于来自不同类别的其他相邻点，即:
其中fi为xi的特征，d(·，·)为距离测量，τ为对比学习中的温度。Eq.(5)所描述的对比学习只关注边界点(图2中红色虚线圈)。首先，我们考虑Eq.(1)中定义的所有groundtruth数据中的边界点Bl。然后，对于每个点xi∈Bl，我们将其正、负点的采样限制在其局部邻域Ni内。在这样的强空间约束下，我们得到xi的正对{xj∈Ni∧lj = li}，其它相邻点{xj∈Ni∧lj/= li}为负对。因此，对比学习增强了跨场景边界的特征识别，对于改进边界区域的分割具有重要意义。
子场景边界开采。为了更好地探索场景边界，我们在多个尺度上检查次采样点云的边界，这使得在主干模型的不同次采样阶段进行对比边界学习成为可能。使用地面真值标签从输入点云收集边界点是很简单的。但子采样后，由于下采样点[14]的标号未定义，使得Eq.(1)式的边界点集难以得到正确的定义。因此，为了在次采样点云中实现CBL，我们提出了子场景边界挖掘，确定每个次采样阶段的地面真实边界点集。具体地说，我们用上标来表示阶段。在子采样阶段n，我们将其下采样点云表示为Xn，对于输入点云，我们有X0 = x。当在阶段n采集一组边界点Bn l∈Xn时，需要确定下采样点Xn i∈Xn的标签ln i，即子场景标注。由于每个次采样点xn i∈xn是从其前一个点云xn−1中的一组点聚合而来的;因此，我们利用子抽样过程来迭代地确定标签。取l0 i为点x0 i = xi的ground truth标号li的一个热标号，得到:
其中，Nn−1(xn i)表示前一阶段xn i的局部邻居(图2中灰色虚线圈)，即xn−1聚合后，由单点xn i∈xn表示的一组点，AVG为平均池。利用式(6)和ground-truth标签，我们可以迭代地得到子场景标注ln i作为一个分布，第k个位置描述了第k类在输入点云中对应的一组点中所占的比例。为了确定下采样点云Xn中边界点的集合，我们只需取arg max ln i允许Eq.(1)1中边界点的求值，并利用下采样点的特征进行Eq.(5)中的对比边界优化。最后，通过子场景边界挖掘，我们在各个阶段应用CBL，最终损失为
其中Ln CBL为阶段n的CBL损失，λ为损失重量。
5.实现细节和基线
由于三维卷积神经网络(3D ConvNet)已经成为点云处理的一个流行的骨干模型，为了呈现一个广义的实现，我们用一个卷积神经网络基线(图3)作为将CBL应用于点云处理的案例研究。根据[2,24]，我们在三维连续空间中建立了卷积卷积网络:
其中◦表示卷积算子，连续核g(·)用单层MLP逼近，设h(xj) = fj，简便地利用xj点的特征。我们注意到，与其他利用局部上下文的高级局部聚合模块相比，式(8)中的3D卷积纯粹是基于中心点与其相邻点之间的空间位置[26,73]。
为了更好地利用CBL在多个尺度上优化的边界特征，我们使用一个多尺度的头部进行预测，它只是将每个点的特征连接起来再采样点云进入最后的输出层。正如我们在消融研究中所显示的那样(第6.3节)，如果没有CBL，这种跨多个尺度的连接就会失败。请注意，CBL可以与任何其他多级主干连接。具体来说，我们还将CBL应用于另外两个流行的baselines:RandLA-Net[26]和CloserLook3D[40]，以证明其通用性。RandLA-Net利用随机采样和细心的局部聚合处理大规模场景，处理速度快;CloserLook3D提出了一个无参数PosPool模块，该模块极大地减少了模型参数和资源消耗，同时实现了与其他具有参数聚合模块(如KPConv[53])的方法相比的性能。结合卷积网络基线，我们的实验涵盖了从卷积、注意操作到无参数操作的大多数典型的点云局部聚集方法的主干。在训练中，我们按照基线的设置，设置减肥重量λ = 0.1。更多细节将在附录中提供。
6.实验
我们首先用实验提出边界问题。然后，我们评估提出的CBL在多个大规模点云分割数据集上的优势，包括室内场景(S3DIS [1]， ScanNet[10])和室外场景(Semantic3D [21]， NPM3D[49])。
6.1 实验中的边界问题
我们实验比较了mIoU, mIoU@boundary, mIoU@inner和B-IoU给出的分数。如表1所示，对于最近的3D点云分割方法，mIoU@boundary远低于mIoU@inner。由于整体性能处于这两个分数之间，说明是边界区域降低了整体分割性能。
同样，B-IoU也同意mIoU@boundary的观点，给出的分数远远落后于mIoU的总体表现。因此，这样的观察表明边界区域的分割质量不理想。而对于建议的CBL，在所有三个baselines上，mIoU@boundary和B-IoU的改进都大于整个mIoU以及mIoU@inner的改进。由于篇幅有限，我们在附录中对边界问题的呈现进行了更深入的研究。
6.2 性能比较
S3DIS室内场景分割。S3DIS[1]是一个具有挑战性的室内场景点云数据集。它包含6个室内区域的3D RGB点云，覆盖272个房间。每个点都用13个语义猫中的一个进行注释天花板、地板、杂物等。如表2所示，我们的方法在所有三个baselines上不断改进，这表明对于不同的本地聚合模块是有效的。值得注意的是，在类的改进是更显著的，如柱(与ConvNet基线相比+13)，比在其他有大区域的类，如墙壁和天花板。这样的观察显示了我们在边界地区的有效性;随着不同班级的不断提高，这也表明CBL并不是在大班和小班场景之间进行权衡，而是更清楚地将它们区分开来。得益于更清晰的边界，卷积神经网络最终在mIoU中取得了69.4的领先性能。
在图4中，我们进一步定性地证明了CBL通过改进边界区域的分割有效地提高了整体性能。与同样考虑边界的JSENet[28]相比，我们通过获得比JSENet在其基线(即KPConv[53])上更大的相对改进来证明我们的优势，特别是在边界很重要的类中，例如:柱、窗、沙发、书柜和杂物，以及整体表现。为了避免在S3DIS Area 5上过度拟合，我们进一步进行了6倍交叉验证，结果如表3所示。列中还显示了一个很大的改进(+9.5)，所有类都得到了一致的改进，除了一个(-0.2)。因此，我们提出的CBL方法确实可以被视为一种通用有效的方法，在拥有共同的ConvNet基线的情况下，mIoU的数值达到了73.1。
语义三维室外场景分割。除了对S3DIS[1]的改进之外，我们还通过评估在Semantic3D[21]数据集上收集的点云CBL，证明了该算法在不同类型场景中的通用性。它是一个由超过40亿点组成的大型数据集，提供了15个大型点云用于训练，每个点标注到8个类中的一个，如汽车、建筑。我们使用reduced-8基准，并在表4中给出了定量结果。我们用ConvNet和RandLA-Net[26]作为baselines进行评估，并观察到一致的改进。特别是，RandLA-Net在多个户外数据集上取得了最先进的性能，对其进行的改进可以更好地证明我们的CBL的有效性。值得注意的是，在高植被级和低植被级上有了明显的改进，这两个类是混淆了大多数其他方法。这是因为高/低植被通常在较近的空间距离内共存，外观相似，如树木被灌木/草地包围，
这使得区分这两个场景变得很困难。这两个类的巨大改进证明了场景边界的有效改进。最后，利用CBL, RandLA-Net在mIoU中取得了78.4的领先性能。
NPM3D和ScanNet的进一步实验。为了进一步证明提出的CBL的泛化，我们报告了另外两个流行的数据集，ScanNet10和NPM3D49。如表5和表6所示，我们的方法得到了合理的结果，并且在基线上得到了持续的改进。因此，它表明CBL对不同的baselines、数据集和场景类型是健壮的。详细结果见附录。
6.3 消融实验
我们对扫描网络验证集进行消融研究，以评估所提议的CBL方案中不同组件的有效性。
ScanNet[10]验证集的结果。CBL @input仅对输入点云(从上采样阶段提取的点特征)进行对比边界学习，@子场景是对子场景边界挖掘的CBL。红色表示相对改善。
CBL的有效性。如表7所示，直接在输入点云上应用CBL(不进行子场景边界挖掘)可以提高性能，这说明边界区域更值得关注。通过引入子场景边界挖掘，在CBL中对多尺度边界进行识别和优化，得到了更显著的改进。
多尺度头的有效性。对比有无多尺度头时的ConvNet基线，我们发现直接使用多尺度磁头甚至会损害性能(-0.09在OA中)。结果表明，跨多个尺度的直接连接并不能带来太大的好处。相比之下，对于多尺度头，进一步增强CBL的ConvNet, mIoU和OA均有较大改善。结果表明，改进的主要原因是CBL在不同次采样点云上学习了更多的判别特征。
7. 结论
本文综合分析了现有点云分割方法对场景边界的分割性能。结果表明，当前边界分割精度不理想，定量地提出了包含mIoU@boundary和B-IoU度量的边界问题。我们进一步提出对比边界学习(CBL)来显式优化边界上的特征，提高模型在边界上的性能。领先的性能和跨各种baselines和数据集的一致改进证明了CBL的有效性和场景边界在3D点云分割中的重要性。限制和未来的工作。我们的一个局限性是，我们主要关注场景边界，而忽略了广阔的内部区域。因此，在未来，我们将进一步探讨边界在点云分割中的作用及其与内部区域的关系。确认。余宝生博士和唐立尧博士的资助项目为ARC FL-170100117，陈哲博士的资助项目为ARC IH-180100002。
1383
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
