qq_43583311的博客

在本节中，我们将回顾现有的点云 URL 方法。如图 2 所示，我们将现有方法按其前置任务大致分为四类，包括基于生成的方法、基于上下文的方法和基于URL的方法、基于多模态的方法，以及基于局部描述符的方法。根据这一分类法，我们将对现有方法进行分类，并在本节的后续小节中系统地介绍这些方法。 基于生成的点云 URL 方法涉及在训练中生成点云对象的过程。根据所采用的预文本任务，它们可进一步分为四个子类别，包括点云自重建（用于生成与输入相同的点云对象）、点云 GAN（用于生成假点云对象）、点云上采样（用于

随着三维点云数据采集技术和传感器的普及和发展，基于深度学习的三维点云研究取得了长足进步。随着可访问数据集数量的增加，完全有监督的语义分割任务的准确性和有效性大大提高。这些方法训练神经网络，以更少的点标签来处理三维语义分割任务。 除了全面概述三维点云弱监督语义分割的历史和现状之外，还详细介绍了最广泛使用的数据采集传感器、可公开访问的基准数据集列表以及未来潜在的发

伪标签被广泛应用于弱监督三维分割任务中，在这种任务中，只有稀疏的地面真实标签可供学习使用。现有方法通常依赖经验标签选择策略（如置信度阈值法）来生成有益的伪标签，用于模型训练。然而，这种方法可能会妨碍对无标签数据点的全面利用。我们假设，这种选择性使用的原因是在未标记数据上生成的伪标签中存在噪声。伪标签中的噪声可能会导致伪标签与模型预测之间存在显著差异，从而混淆模型并对模型训练造成很大影响。为了解决这个问题，我们提出了一种新颖的学习策略，对生成的伪标签进行正则化处理，有效缩小伪标签与模型预测之间的差距。

深度学习（DL）已成为点云分析任务（如检测、分割和分类）的主流和有效方法之一。为了减少深度学习模型训练过程中的过拟合，提高模型性能，尤其是在训练数据的数量和/或多样性有限的情况下，增强往往至关重要。虽然各种点云数据增强方法已被广泛应用于不同的点云处理任务中，但目前还没有关于这些方法的系统调查或综述。因此，本文对这些方法进行了调查，并将它们归入一个分类框架，其中包括基本的和专门的点云数据增强方法。通过对这些扩增方法的综合评估，本文指出了它们的潜力和局限性，为选择合适的扩增方法提供了有用的参考。

与繁琐的多阶段相比，带有图像级标签的单阶段弱监督语义分割（WSSS）因其简化性而受到越来越多的关注。受限于类激活图（CAM）固有的模糊性，我们发现单阶段方法经常会遇到由不正确的 CAM 伪标签引起的确认偏差，从而影响其最终的分割性能。虽然最近的研究抛弃了许多不可靠的伪标签，隐性地缓解了这一问题，但它们未能对其模型进行充分的监督。为此，我们提出了具有可信渐进学习（DuPL）的双学生框架。具体来说，我们提出了一个双学生网络，通过差异损失为每个子网络生成不同的 CAM。

三维实例分割方法还能区分同一类别的不同实例。由于三维实例分割是一项对场景理解更有参考价值的任务，因此越来越受到研究界的关注。三维实例分割方法大致分为两个方向：proposal-based和proposal-free。 基于提议的方法首先预测对象提议，然后对其进行完善，生成最终的实例掩码（见图 7），从而将任务分解为两大挑战。因此，从建议生成的角度来看，这些方法可分为基于检测的方法和无检测方法。 基于检测的方法有时会将物体建议定义为三维边界框回归问题。3D-SIS Hou、Dai

文献中提出了许多关于三维语义分割的深度学习方法。根据所使用的数据表示方式，这些方法可分为五类，即基于 RGB-D 图像的方法、基于投影图像的方法、基于体素的方法、基于点的方法、基于三维视频的方法和基于其他表示方式的方法。根据网络架构，基于点的方法可进一步分为基于多层感知器（MLP）的方法、基于点卷积的方法、基于图卷积的方法和基于点变换器的方法。图 4 显示了近年来深度学习在三维语义分割方面取得的阶段性成果。 RGB-D 图像中的深度图包含真实世界的几何信息，有助于区分前景物体和背景，从而为提高

该数据集包括3亿个点和22个分类，每个点都包含标签和分类信息，可用于点与点之间的检测、分割和分类评估。不同平台上的激光扫描仪为同一项目采集的数据在点密度、遮挡和分辨率方面会有很大差异，因此需要为不同的工作选择不同的数据采集和处理策略。S3DIS 有超过 2.15 亿个点和 13 个语义类别，包括天花板、地板、墙壁、梁、柱、窗户、门、桌子、椅子、沙发、书柜、木板和杂物。4.研究基于伪三维标注的方法是当前最热门的研究方向，未来的研究必须关注如何更好地保留标注点中真正有用的信息，并生成更准确的伪标注。

目前最先进的方法是用真实标签训练标注数据，用伪标签训练未标注数据。然而，这两个训练流程是分开的，这就使得标注数据在训练过程中占据主导地位，从而导致伪标签的质量低下，并因此产生次优结果。为了缓解这一问题，我们提出了 AllSpark ，它利用信道交叉注意力机制从未标明的特征中重新生成标明的特征。我们进一步引入了语义记忆和通道语义分组策略，以确保未标记的特征充分代表已标记的特征。AllSpark 为 SSSS 的架构级设计而非框架级设计提供了新的思路，从而避免了日益复杂的训练流水线设计。

三维分割是计算机视觉领域的一个基本而具有挑战性的问题，可应用于自动驾驶、机器人、增强现实和医学图像分析。它受到了计算机视觉、图形学和机器学习界的极大关注。传统的三维分割方法基于手工创建的特征和机器学习分类器，缺乏泛化能力。在二维计算机视觉领域取得成功的推动下，深度学习技术最近已成为三维分割任务的首选工具。这导致文献中出现了大量在不同基准数据集上进行评估的方法。虽然存在关于 RGB-D 和点云分割的调查论文，但缺乏涵盖所有三维数据模式和应用领域的深入的最新调查。

点云的语义分割通常依赖于密集的标注，这既耗费精力又成本高昂，因此，研究仅对稀疏点进行标注的弱监督方案的解决方案引起了广泛关注。现有的工作从给定的标签开始，在数据（如点内关系）的指导下，将标签传播到高度相关但未标注的点上。(i) 对数据信息的利用效率不高；(ii) 对标签的依赖性很强，因此在注释数量少得多的情况下很容易被抑制。因此，我们提出了一个新颖的框架--PointMatch，它通过应用一致性正则化来充分探测数据本身的信息并同时利用弱标签作为辅助，从而同时立足于数据和标签。

为了增强特征学习能力，我们在这项工作中引入了双教师指导的对比学习框架，用于弱监督点云语义分割。双教师框架可以减少子网络耦合，促进特征学习。此外，交叉验证方法可以过滤掉低质量样本，伪标签校正模块可以提高伪标签的质量。经过清理的未标记数据被用于根据每个类别的原型构建对比损失，从而进一步提高分割性能。早期曾有过一些半监督或弱监督点云分割的尝试 [9]、[10]。最近，这类工作通常基于具有对比学习功能的连体网络 [11]、[12]、[13]、[14]、[15]。然而，这些研究存在一些局限性。

弱监督点云语义分割因其能够减轻对点云细粒度注释的严重依赖而备受关注。然而，在实际应用中，稀疏注释通常在点云中呈现出明显的非均匀分布，这给弱监督带来了挑战。为了解决这些问题，我们提出了一种用于弱监督点云语义分割的自适应注释分布方法。具体来说，我们在梯度采样近似分析中引入了概率密度函数，并研究了稀疏注释分布的影响？。在分析的基础上，我们提出了一种标签感知的点云下采样策略，以增加训练阶段的注释比例。此外，我们还设计了乘法动态熵作为梯度校准函数，以减轻非均匀分布的稀疏注释造成的梯度偏差？

本文探讨了将弱监督学习中常用的一致性正则化应用于具有多种特定数据增强功能的点云学习中，而对这一问题的研究还不够深入。我们发现，将一致性约束直接应用于弱监督点云分割的方法有两大局限性：传统的基于置信度的选择会导致伪标签产生噪声而舍弃不可靠的伪标签又会导致一致性约束不足。因此，我们提出了一种新颖的可靠性自适应一致性网络（RAC-Net），利用预测信度和模型不确定性来衡量伪标签的可靠性，并对所有未标记点进行一致性训练，同时根据相应伪标签的可靠性对不同点采用不同的一致性约束。

研究了弱监督点云分割任务中的上下文信息学习问题

此为Transformer学习记录，分享本人所找到的较好的课程、博客等供记录交流。语义分割TRM ：TransUNet segformer PVT。此博主和视频解析思路一致，分块讲解其中各部。视觉transformer: VIT。已经对其有了较为很好的了解。