【CVPR2023】MSeg3D:面向自动驾驶的多模态3D语义分割

342cdca9389bb015fdd5aeba0be5799f.png

来源:专知
本文为论文,建议阅读5分钟
本文提出一种联合模态内特征提取和模态间特征融合的多模态3D语义分割模型(MSeg3D)。

3b2086fb6953f80c40e67a5b94228db5.png

激光雷达和相机是自动驾驶中可用于3D语义分割的两种模态。由于激光点不足,流行的仅用激光雷达的方法在小而远的目标上存在严重的分割问题,而鲁棒的多模态解决方案尚未得到充分探索,本文研究了三个关键的内在困难:模态异质性、有限的传感器视场交叉点和多模态数据增强。为此,提出一种联合模态内特征提取和模态间特征融合的多模态3D语义分割模型(MSeg3D)。MSeg3D中的多模态融合包括所有可见点上基于几何的特征融合GF-Phase、跨模态的特征补全和基于语义的特征融合SF-Phase。通过对LiDAR点云和多相机图像分别应用非对称变换来重新激活多模态数据增强,这有利于通过多样化的增强变换进行模型训练。MSeg3D在nuScenes, Waymo和SemanticKITTI数据集上取得了最先进的结果。在故障多摄像机输入和多帧点云输入下,MSeg3D仍然表现出鲁棒性,并改善了LiDARonly基线。我们的代码通过https: //github.com/jialeli1/lidarseg3d公开。

2bf19430c2983c26fc29b76db2c55116.png

1276fa2cc83379a86323bd85f34761d9.png

  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值