论文阅读ModelNet-O: A Large-Scale Synthetic Dataset for Occlusion-Aware Point Cloud Classification

Fang, Z., Li, X., Li, X., Zhao, S., & Liu, M. (2024). ModelNet-O: A Large-Scale Synthetic Dataset for Occlusion-Aware Point Cloud Classification. In arXiv [cs.CV]. arXiv. http://arxiv.org/abs/2401.08210

ModelNet-O: 用于考虑遮挡的大规模合成点云分类数据集

最近，借助许多数据集的帮助，3D点云分类取得了显著的进展。然而，这些数据集未能反映由于遮挡引起的真实世界点云的不完整性，这限制了当前方法在实际应用中的实用性。为了弥合这一差距，我们提出了ModelNet-O，这是一个大规模的合成数据集，包含123,041个样本，模拟了由单眼摄像机扫描引起的自遮挡的真实世界点云。ModelNet-O比现有数据集大10倍，并提供了更具挑战性的情况，以评估现有方法的鲁棒性。我们对ModelNet-O的观察表明，设计良好的稀疏结构可以在遮挡下保留点云的结构信息，激发了我们提出一种利用关键点采样（CPS）策略进行多层次处理的鲁棒点云处理方法，我们将其称为PointMLS。通过广泛的实验，我们展示了PointMLS在ModelNet-O上取得了最先进的结果，并在常规数据集上取得了竞争性的结果，表现出了其鲁棒性和有效性。更多的实验证明了PointMLS的鲁棒性和有效性。

图1. a) 遮挡点云（ModelNet-O）与完整点云[49]之间的比较，我们的ModelNet-O模拟了使用固定摄像头采集点云。 b) 在点采样的情况下，先前的方法[11, 32]在处理异常点时存在不稳定性，而我们提出的CPS模块对噪声更具鲁棒性，可以减弱遮挡效应。 c) 我们提出的PointMLS在遮挡（ModelNet-O）和常规（ModelNet40）点云上表现出色。

图2. a) 生成遮挡点云的总体方案。请注意，在某些视角下，一些对象无法投影以获取深度图。 b) 20视图的十二面体配置。虚拟摄像机放置在包围对象的十二面体的顶点上。蓝色点：训练集。橙色点：测试集。

图3. 关键点采样（CPS）模块和特征聚合（FA）模块的示意图。CPS模块提取输入点云P ∈ RN × 3的特征，然后得到点-wise权重W ∈ RM × N。通过W和P之间的矩阵乘法生成采样点云( \tilde{P} ) ∈ RM × 3。带有残差MLP的FA模块进一步聚合属于采样点云的每个局部区域的特征。分类器获得最终得分。

Figure 4. Illustration of multi-level sampling (MLS).

图5. 不同噪声点比例的可视化。

图6. CPS、随机采样（RS）和最远点采样（FPS）的采样结果可视化。不同颜色的圆圈代表不同的采样效果。蓝色表示好，红色表示相反。

图7. a) 在带有噪声点的点云上使用不同方法进行采样结果的可视化。 b) 在带有噪声点的ModelNet40上不同模型的性能。