A Simple Framework of Few-Shot Learning Using Sparse Annotations for Semantic Segmentation of 3D Poi

Huang, R., Gao, Y., Xu, Y., Hoegner, L., & Tong, X. (n.d.). A Simple Framework of Few-Shot Learning Using Sparse Annotations for Semantic Segmentation of 3D Point Clouds. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, PP(99), 1–12. https://doi.org/10.1109/JSTARS.2024.3363243

使用稀疏注释进行3D点云语义分割的少样本学习简单框架

对点云进行语义分割在3D场景解释中起着至关重要的作用。然而，大多数监督学习方法需要大量带标注的数据来训练有效的模型，这需要对3D点进行繁重和耗时的注释工作。在这项工作中，我们提出了一个简单而实用的框架，采用少样本学习策略，仅使用稀疏注释对3D点云进行语义分割。主要贡献有两个方面：（1）设计了一个用于语义分割的少样本学习框架，只需比传统方法更少的手动标注工作；（2）引入了一种分布校准方法，实现基于预训练模型的迁移学习，无需对神经网络进行重新训练。通过采用用少量带标注数据训练的模型，通过同步迁移学习将其适应于广泛的数据范围，极大提升了语义分割的准确性。所提出的方法经过了两组基准测试，分别是TUM-MLS-2016数据集和Toronto-3D MLS数据集的组合，用于提供预训练模型和测试数据集，以及DALES数据集作为基础数据集和ISPRS基准数据集作为测试数据集的组合。我们获得了令人印象深刻的结果，与使用密集注释的最先进方法达到了相同水平，对Toronto-3D MLS数据集上的八个语义类别的整体准确性达到了0.81，对ISPRS基准数据集上的九个语义类别的整体准确性也达到了0.81，证明了所提出框架的有效性。

图1. 不同注释策略的对比图解。 (a) 密集标注的点云。 (b) 稀疏标注的点云。 （为了更好的可视化，已将标注的3D点进行了放大。）

图2. 所提出的少样本学习框架的图解以及在每个步骤中数据集的使用。 需要注意的是，T op3(·)表示用于从用于分布校准的基本分布的输入特征中获取前三个元素的运算符。