点击上方“3D视觉工坊”，选择“星标”
干货第一时间送达
作者丨汽车人
来源丨 自动驾驶之心
标题：Unifying Panoptic Segmentation for Autonomous Driving
链接：https://openaccess.thecvf.com/content/CVPR2022/papers/Zendel_Unifying_Panoptic_Segmentation_for_Autonomous_Driving_CVPR_2022_paper.pdf
统一主流全景分割数据集！
后台回复【WD2】下载论文！
1摘要
本文提出了三点改进自动驾驶场景下全景分割的方法。首先，本文提出的标签策略统一了四个目前主流的自动驾驶全景分割数据集，并添加了新的车辆标签（皮卡车和货车）来清理混乱的标签。为了将新标签添加至现有设置中，本文提供了Mapillary Vistas、IDD、Cityscapes数据集的完整新标签信息。
其次，本文介绍了新的自动驾驶场景全景分割数据集——Wilddash2 (WD2)，该数据集包含来自世界各地的 5000 多个独特的驾驶场景，重点关注具有视觉挑战性的场景，例如不同的天气条件、照明情况和相机特性。本文探索了视觉危险分类器在数据集创建过程中预先过滤具有挑战性帧的作用。
最后，为了表征算法在数据分布外的鲁棒性，本文引入了全景分割危险感知测试和负面测试，并增加了对这两个概念的信心的显著性统计计算。此外，本文提出了一种可视化全景分割错误的新技术。
本文的实验表明视觉危害对全景分割的负面影响，来自 WD2 数据集的额外数据提高了挑战性视觉场景的性能，从而提高了真实场景中的鲁棒性。
2数据集设计
本文结合以下四个最有价值的特征建立Wilddash2数据集。
帧选择
Wilddash2数据集的视频帧选择遵循与Wilddash[1]数据集相同的原则：来自世界各地的具有视觉挑战性的驾驶场景。一般的自动驾驶数据集来源主要由单个区域的场景组成，如Cityscapes、IDD等。而Wilddash2共包含来自全球150多个国家或地区的公共行车记录仪视频，下图显示了WD2数据来源的地理分布。
标签策略
Wilddash2合并了MVD、Cityscapes和IDD的标签，创建了统一的标注策略，主要包含以下三个统一操作：统一标签以合并各个数据集的重复标签、拆分标签以映射到其他数据集、扩展新标签以减少标签混淆。
重新贴标签
本文重新标注了MVD、Cityscapes和IDD数据集中的车辆实例，来和Wilddash2数据集的车辆类别对齐（皮卡车和货车），下表展示了车辆类别的分布和来源。
限制
Wilddash2数据集涵盖了诸多视觉危害，但存在以下几点限制：排除严重失真的视频帧、颗粒物危害类别中的视频帧较少、包含变化风险的视频帧较少。
3全景分割评估
Wilddash2使用COCO[2]全景格式提交结果，全景分割[3]统一了实例分割和语义分割，常用PQ指标进行评估：
4实验结果
全景分割
本文使用Seamless Scene Segmentation[4]搭建分割基线，结果如下表所示：
Visual Hazard Classifiers
本文使用[5]搭建视觉危害分类器，结果如下表所示：
5参考文献
[1] Oliver Zendel, Katrin Honauer, Markus Murschitz, Daniel Steininger, and Gustavo Fernandez Dominguez. Wilddashcreating hazard-aware benchmarks. In European Conference on Computer Vision (ECCV), pages 402–416, 2018. 3, 5
[2] COCO - common objects in context. https : / /cocodataset.org/#format-data. Accessed: 2021-11-01. 5
[3] Alexander Kirillov, Kaiming He, Ross Girshick, Carsten Rother, and Piotr Doll´ar. Panoptic segmentation. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 9404–9413, 2019. 1, 5
[4] Lorenzo Porzi, Samuel Rota Bul`o, Aleksander Colovic, and Peter Kontschieder. Seamless scene segmentation. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019-06. 7
[5] Jeremy Howard et al. Fastai. https://github.com/fastai/fastai, 2021. Accessed: 2021-10-01. 8
本文仅做学术分享，如有侵权，请联系删文。
3D视觉工坊精品课程官网：3dcver.com
2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)
重磅！3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、答疑解惑、助你高效解决问题
觉得有用，麻烦给个赞和在看~
扫一扫
1390
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
