CVPR2023新作：恶劣天气下点云语义分割

最新推荐文章于 2024-04-23 14:45:51 发布

upDiff

最新推荐文章于 2024-04-23 14:45:51 发布

阅读量375

点赞数

分类专栏：论文解读文章标签：计算机视觉深度学习人工智能

未经授权，禁止转载，如需转载请私信

本文链接：https://blog.csdn.net/dlhlSC/article/details/131908903

版权

26 篇文章 4 订阅

订阅专栏

Title: 3D Semantic Segmentation in the Wild: Learning Generalized Models for Adverse-Condition Point Clouds
Affiliation: 南洋理工大学
Authors: Aoran Xiao, Jiaxing Huang, Weihao Xuan, Ruijie Ren, Kangcheng Liu, Dayan Guan, Abdulmotaleb El Saddik, Shijian Lu, Eric Xing
Keywords: 3D semantic segmentation, point clouds, adverse weather, domain randomization, autonomous driving
Summary:
- (1):文章研究如何在恶劣天气条件下进行点云语义分割，以提高自动驾驶等应用场景下3D感知的可靠性。
- (2):现有的点云数据集都是在正常天气下采集的，缺乏针对恶劣条件下的点云语义分割。本文提出了一种人造数据集SemanticSTF，可以用于测试在雾、雪、雨等恶劣天气条件下的3D语义分割方法。此外，本文提出了一种新的域随机化技术，用于学习适用于各种恶劣天气条件的通用模型。
- (3):本文在两个场景下研究了针对所有天气条件的3D语义分割建模：1）从正常天气数据到恶劣天气数据的域自适应3DSS；2）从正常天气数据学习所有 weather 3DSS 模型的域通用 3DSS。同时提出了一种随机化技巧，通过改变点云的几何颜色并对其嵌入进行聚合，从而实现了能够有效提高各种恶劣天气下3DSS性能的模型。
- (4):本文中所提出的方法在恶劣天气条件下的语义分割任务中取得了state-of-the-art的性能，证明了其可行性和有效性。
Methods:

(1): 本文提出了一种人造数据集SemanticSTF，用于测试在雾、雪、雨等恶劣天气条件下的3D语义分割方法。该数据集包括8个情境，每个情境包含3类对象，可生成1.2k至3.6k个点云，从而更加贴近汽车驾驶场景中的点云数据分布。
(2): 本文提出了一种新的域随机化技术，用于学习适用于各种恶劣天气条件的通用模型。该技术通过改变点云的几何颜色并对其嵌入进行聚合，从而可以增加不同天气条件下的数据集的差异性，提高模型在恶劣天气下的泛化性能。
(3): 本文提出了两种针对所有天气条件的3D语义分割建模方法：1）从正常天气数据到恶劣天气数据的域自适应3DSS；2）从正常天气数据学习适用于所有恶劣天气条件的3DSS通用模型。在第一种方法中，作者使用Wasserstein距离作为域适应的损失函数，在损失中引入了类别一致性损失。在第二种方法中，作者对所有天气条件下的数据进行域随机化，然后将随机化后的点云数据作为输入进行训练，从而让模型学习到更加鲁棒的特征表示。
(4): 本文使用PointPainting和PointRCNN作为主要的语义分割模型，在不同的恶劣天气条件下进行实验评估。实验结果表明，本文提出的方法在恶劣天气条件下的语义分割任务中具有state-of-the-art的性能。

(1): 本文的意义在于研究了如何在恶劣天气条件下进行点云语义分割，以提高自动驾驶等应用场景下3D感知的可靠性。通过提出一种新的人造数据集和域随机化技术，本文提出的方法在恶劣天气条件下的语义分割任务中具有state-of-the-art的性能。这项工作对于实现车辆自主驾驶的安全性和可靠性具有重要意义。
(2): 创新点：本文提出了一种新的人造数据集SemanticSTF和一种域随机化技术，增加了数据集的差异性，提高了模型在恶劣天气下的泛化能力。同时提出了两种针对所有天气条件的3D语义分割建模方法，具有一定的实用性。

性能：实验结果表明，在不同的恶劣天气情况下，本文提出的方法具有state-of-the-art的性能。

工作量：本文的工作量较大，涉及语义分割模型的设计、实验验证以及人造数据集的构建等多个方面，但是这也为该领域的后续研究提供了有价值的参考。

关注