【AAAI2024】Sunshine to Rainstorm: Cross-Weather Knowledge Distillation for Robust 3D Object Detection 第一作者深度解读
链接与简介
- 论文:https://arxiv.org/abs/2402.18493
- 开源代码:https://github.com/ylwhxht/SRKD-DRET
写在前面:这篇paper是本人的第一篇一作文章,本文主要通过将分享的ppt改写为文档形式,并没有严格按照论文的顺序进行解读,希望能更清晰的表达出文章的内容,但是想表达的动机、核心方法、实验均与论文一致。
欢迎配合原文阅读,能对读者有帮助的话希望能点赞/引用/star。 Thanks~
研究背景
基于LiDAR点云的三维目标检测任务
首先,我们介绍一下基于纯激光雷达点云的三维目标检测的工作流程。输入由3D点云组成,这些点云通过3D检测器以产生B*7的检测结果,代表了每个物体的xyz三维坐标,长宽高box体积以及旋转角θ。随着自动驾驶和智慧城市等前沿技术领域的迅猛发展,基于激光雷达点云的三维目标检测技术受到了极大关注。
Full Driving Automation (FDA, Level 0 - 5)
现有大多数研究集中于正常天气下的性能表现,而自动驾驶技术L5分级要求在所有天气条件下完成自动驾驶,即使在各种具有挑战性的不利天气条件下,也能提供精确的3D边界框。
恶劣天候会对LiDAR点云产生什么影响?
K-Radar[1]数据集上晴天(上)点云与恶劣天候(暴雪,下)点云可视化对比
视距降低
恶劣天候下,受消光系数等大气参数及物体表面覆盖的水/雾/雪等影响。
LiDAR信号反射强度降低,低于传感器阈值的点被筛去,产生LiDAR视距降低。
天气噪声
恶劣天候下,LiDAR无法穿透水/雾/雪等粒子进而产生散射,若散射强度峰值大于目标反射强度峰值,则出现天气噪声。
且不同类型的恶劣天候噪声分布不同。
LiDAR降质影响对目标检测挑战:
- LiDAR视距显著降低,目标难以召回
- LiDAR数据含各类不同天气噪声,干扰模型对目标的精准预测
我们展示了晴天与其他三种常见恶劣天候的点云可视化,通过对比可以进一步感受到上述视距降低与天气噪声的影响。
不难发现呼应了前面提到的不同天气类型的噪声分布是不相同的,我们进一步可以观察到与本工作相关的雨天噪声,主要是由于车辆运动时轮胎高速转动溅起的大直径水花而产生的密集噪声。
这两个现象同样对三维目标检测任务带来两个挑战。
挑战
本工作主要聚焦于雨天这一常见且缺乏广泛研究的恶劣天候。
首先,我们来分析要想实现雨天恶劣三维目标检测所面临的两个挑战。
雨天数据稀缺,难以支撑有效训练
模型雨天场景鲁棒性差
网络框架总览
我们的方法概述,包括(a)用于降雨模拟的DRET和(b)用于3D目标检测的晴雨知识蒸馏框架SRKD。
我们的贡献主要包括以下两个部分:
- 充分分析了降雨中各种现象的影响,并在此基础上提出了一种更真实的降雨模拟方法DRET。
- 提出了SRKD,一个将晴天性能转移到到雨天性能的通用框架,提高3D检测器在雨天下的鲁棒性。
(a) DRET :结合了动力学和降雨环境理论的仿真降雨模拟方法
雨天场景下的天气噪声与场景车辆目标与运动速度有关,显然通过随机采样的方式并不能得到真实的雨粒子。
因此我们将DRET模拟分为了两阶段的方法。
第一阶段:动态雨粒子模拟
第一阶段,我们通过Unity3D虚拟引擎进行动力学模拟得到真实的运动水花粒子。
首先,我们获取场景的目标标签信息,然后在虚拟场景下根据标签放置车辆及胎面水花飞溅器,并在加速度上加入柏林随机噪声模拟风力的影响,得到每帧的场景水花粒子,如视频中红色点所示。
动态雨粒子模拟示例
第二阶段:场景处理
随后我们进入DRET第二阶段,需要将水花粒子合并到点云场景中。
这并不是简单地数据拼接操作,需要考虑传感器分辨率,场景仰俯角,噪声与原始点的遮挡,噪声的反射强度计算等。
因此,简单来说我们分为了三个主要步骤:
- 水花粒子与原始场景点云匹配
- 根据消光系数等大其参数计算噪声的理论反射强度
- 降低原始点的强度并根据阈值过滤低反射强度的点
DRET降雨模拟实验结果
因为我们的工作分布两个主要部分,为了便于大家理解,我们分开来介绍实验,首先是第一部分的DRET雨模拟相关实验。
模拟点云的真实性
我们首先定性定量地去评估我们方法和其他模拟方法与真实雨天点云的真实性,可以发现我们的方法真实性显著高于其他方法。
模拟点云用于数据增强训练带来的性能
我们在训练模型的时候将模拟的点云用作数据增强,并测试增强前后的性能对比。
模拟点云的有效、通用性
模拟方法的先进性
可以发现我们的方法带来了稳定的性能提升,且高于其他方法。
但是:提升依旧有限,仅靠模拟点云作为数据增强的一种形式并不能让模型充分拟合困难的雨天场景。
(b) SRKD 晴雨知识蒸馏框架
以晴天数据为输入的教师模型指导输入雨天数据的学生模型。
在训练期间使用DRET作为数据扩充来扩展雨天数据是必要的,他支撑了训练的基本要求。
然而,仅靠这一数据增强的方法并不能解决雨天场景检测的挑战。
因此,我们设计了晴天到雨天的知识蒸馏框架,SRKD框架。
AWID自适应加权的实例蒸馏
挑战
在三维目标检测任务中,常用的一个知识蒸馏实现方式就是实例特征蒸馏,可以有效帮助模型鉴别一个目标实例的特征。
然而,在晴雨知识蒸馏中,直接朴素的实例特征蒸馏面临一个巨大挑战
直接进行蒸馏的结果如下,可以发现不仅没有提升反而产生了性能下降:
我们发现了进行实例特征蒸馏面对的挑战:晴雨下实例对数据的差异
AWID方法
通过对降雨和晴天条件下实例的数据进行比较分析,我们发现实例的变化主要体现在密度和形状的差异上。
为了克服这一挑战,我们提出的AWID利用相应的晴天和雨天物体之间的相似性作为提取权重,为实例特征蒸馏损失提供指导加权。
我们的自适应加权显著缓解了不同天气条件下密度和形状变化引起的差距。
权重可视化
PRD响应蒸馏
除了特征蒸馏,我们期望模型在同一场景下,晴天和雨天能够预测的一致结果
NAPC:感知噪声的预测修正
动机
知识蒸馏这种隐式处理并不能有效解决密集雨噪声的干扰
观察到雨天噪声的特性:
由车辆轮胎高速运动引起的飞溅水花,产生大量分布在车辆周围的噪声。
我们利用了模拟雨数据的关键优势:天然的雨噪声标签。来纠正目标周围噪声对预测的干扰。
NAPC方法
我们介绍了一种噪声感知预测校正头NAPC,它专注于抑制降雨噪声。
跨晴雨知识蒸馏的鲁棒三维目标检测框架(SRKD)实验
有效性、通用性
描述方面不多赘述,大家可以自己观看,有需要可以阅读原文中的experiments部分
可靠性(在晴天下的性能表现)
先进性(与其他方法的对比)
可视化与消融实验
总结与展望
总结
- 本文提出了一种结合雨水动力学和降雨环境理论的降雨数据模拟方法DRET,可高效低成本生成模拟的雨天激光雷达点云数据用于训练.
- 本文还提出了跨晴雨知识蒸馏(SRKD)增强三维目标检测器在雨天的鲁棒性。
- 在Waymo自动驾驶数据集上进行的实验表明,方法可与多种三维目标检测器结合使用,显著提升雨天的目标检测精度,并且不会增加任何推理延时。
展望:恶劣天气下如何进行更鲁棒的检测/感知?
- 关注到其他恶劣天气,能在不同特质的恶劣天气下展示一致的鲁棒性能
- LiDAR降质严重,数据缺陷导致性能始终存在瓶颈,多模态融合(4D Radar)
- …
一种创新的知识蒸馏思想启发:模型差异→数据差异
那我们本次AAAI2024的工作介绍到这里就结束了。
最后,我想跟大家分享、讨论最后一部分内容:一种创新的知识蒸馏思想启发,也是我们这个工作的一个重要启发。
传统的知识蒸馏都是通过一个好的模型蒸馏性能较弱的模型,来实现轻量化压缩、提高泛化性能等,我们把这种方式简单归纳为模型差异。
那今天想与大家讨论的就是从模型差异到数据差异的这一个思想启发,他跟传统知识蒸馏不同的就是,teacher和student可能使用同一模型,但是数据输入却补相同,用高质量的数据指导低质量的数据。
我这里也列举了在三维目标检测方向中这一思想的顶会论文,分别是
我个人认为还是一个比较有趣且有意义的思路,优点就是通用性强,不会增加推理延时。但是并不是直接简单套用就可以得到结果,这个过程中一定会遇到一些数据差异带来的挑战,如果你的方法很好地解决了这些挑战我认为就会是一篇不错的成果。
参考文献
[1] Dong-Hee Paek, Seung-Hyun Kong, and Kevin Tirta Wijaya. K-radar: 4d radar object detection for autonomous driving in various weather conditions. Advances in Neural Information Processing Systems, 35:3819–3829, 2022.
[2] Zheng W, Hong M, Jiang L, et al. Boosting 3d object detection by simulating multimodality on point clouds[C]//CVPR. 2022: 13638-13647.
[3] Zheng W, Jiang L, Lu F, et al. Boosting single-frame 3D object detection by simulating multi-frame point clouds[C]//ACM MM. 2022: 4848-4856.
[4] Huang X, Wu H, Li X, et al. Sunshine to Rainstorm: Cross-Weather Knowledge Distillation for Robust 3D Object Detection[J]. arXiv preprint arXiv:2402.18493, 2024.
[5] Bang G, Choi K, Kim J, et al. RadarDistill: Boosting Radar-based Object Detection Performance via Knowledge Distillation from LiDAR Features[J]. arXiv preprint arXiv:2403.05061, 2024.