AAAI2024-Sunshine to Rainstorm第一作者深度解读

已于 2024-05-25 02:44:59 修改
阅读量1.3k 收藏 17
点赞数 31
文章标签： 目标跟踪 人工智能 计算机视觉
于 2024-05-23 14:01:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ylwhxht/article/details/139145097
版权

在这里插入图片描述

【AAAI2024】Sunshine to Rainstorm: Cross-Weather Knowledge Distillation for Robust 3D Object Detection 第一作者深度解读

链接与简介

  • 论文：https://arxiv.org/abs/2402.18493
  • 开源代码：https://github.com/ylwhxht/SRKD-DRET
    在这里插入图片描述
    写在前面：这篇paper是本人的第一篇一作文章，本文主要通过将分享的ppt改写为文档形式，并没有严格按照论文的顺序进行解读，希望能更清晰的表达出文章的内容，但是想表达的动机、核心方法、实验均与论文一致。

欢迎配合原文阅读，能对读者有帮助的话希望能点赞/引用/star。 Thanks~

研究背景

基于LiDAR点云的三维目标检测任务

首先，我们介绍一下基于纯激光雷达点云的三维目标检测的工作流程。输入由3D点云组成，这些点云通过3D检测器以产生B*7的检测结果，代表了每个物体的xyz三维坐标，长宽高box体积以及旋转角θ。随着自动驾驶和智慧城市等前沿技术领域的迅猛发展，基于激光雷达点云的三维目标检测技术受到了极大关注。
在这里插入图片描述

Full Driving Automation (FDA, Level 0 - 5)

现有大多数研究集中于正常天气下的性能表现，而自动驾驶技术L5分级要求在所有天气条件下完成自动驾驶，即使在各种具有挑战性的不利天气条件下，也能提供精确的3D边界框。
在这里插入图片描述

恶劣天候会对LiDAR点云产生什么影响？

K-Radar[1]数据集上晴天（上）点云与恶劣天候（暴雪，下）点云可视化对比
在这里插入图片描述

视距降低

恶劣天候下，受消光系数等大气参数及物体表面覆盖的水/雾/雪等影响。
LiDAR信号反射强度降低，低于传感器阈值的点被筛去，产生LiDAR视距降低。
在这里插入图片描述

天气噪声

恶劣天候下，LiDAR无法穿透水/雾/雪等粒子进而产生散射，若散射强度峰值大于目标反射强度峰值，则出现天气噪声。
且不同类型的恶劣天候噪声分布不同。
在这里插入图片描述

LiDAR降质影响对目标检测挑战：

  1. LiDAR视距显著降低，目标难以召回
  2. LiDAR数据含各类不同天气噪声，干扰模型对目标的精准预测

我们展示了晴天与其他三种常见恶劣天候的点云可视化，通过对比可以进一步感受到上述视距降低与天气噪声的影响。
不难发现呼应了前面提到的不同天气类型的噪声分布是不相同的，我们进一步可以观察到与本工作相关的雨天噪声，主要是由于车辆运动时轮胎高速转动溅起的大直径水花而产生的密集噪声。
这两个现象同样对三维目标检测任务带来两个挑战。

在这里插入图片描述
在这里插入图片描述

挑战

本工作主要聚焦于雨天这一常见且缺乏广泛研究的恶劣天候。
首先，我们来分析要想实现雨天恶劣三维目标检测所面临的两个挑战。

雨天数据稀缺，难以支撑有效训练

在这里插入图片描述

模型雨天场景鲁棒性差

在这里插入图片描述

网络框架总览

我们的方法概述，包括（a）用于降雨模拟的DRET和（b）用于3D目标检测的晴雨知识蒸馏框架SRKD。
在这里插入图片描述

我们的贡献主要包括以下两个部分：

  1. 充分分析了降雨中各种现象的影响，并在此基础上提出了一种更真实的降雨模拟方法DRET。
  2. 提出了SRKD，一个将晴天性能转移到到雨天性能的通用框架，提高3D检测器在雨天下的鲁棒性。

(a) DRET ：结合了动力学和降雨环境理论的仿真降雨模拟方法

雨天场景下的天气噪声与场景车辆目标与运动速度有关，显然通过随机采样的方式并不能得到真实的雨粒子。
因此我们将DRET模拟分为了两阶段的方法。

第一阶段：动态雨粒子模拟

在这里插入图片描述
第一阶段，我们通过Unity3D虚拟引擎进行动力学模拟得到真实的运动水花粒子。
首先，我们获取场景的目标标签信息，然后在虚拟场景下根据标签放置车辆及胎面水花飞溅器，并在加速度上加入柏林随机噪声模拟风力的影响，得到每帧的场景水花粒子，如视频中红色点所示。

动态雨粒子模拟示例

第二阶段：场景处理

在这里插入图片描述
随后我们进入DRET第二阶段，需要将水花粒子合并到点云场景中。
这并不是简单地数据拼接操作，需要考虑传感器分辨率，场景仰俯角，噪声与原始点的遮挡，噪声的反射强度计算等。
因此，简单来说我们分为了三个主要步骤：

  1. 水花粒子与原始场景点云匹配
    在这里插入图片描述
  2. 根据消光系数等大其参数计算噪声的理论反射强度
    在这里插入图片描述
  3. 降低原始点的强度并根据阈值过滤低反射强度的点
    在这里插入图片描述

DRET降雨模拟实验结果

因为我们的工作分布两个主要部分，为了便于大家理解，我们分开来介绍实验，首先是第一部分的DRET雨模拟相关实验。

模拟点云的真实性

我们首先定性定量地去评估我们方法和其他模拟方法与真实雨天点云的真实性，可以发现我们的方法真实性显著高于其他方法。
在这里插入图片描述
在这里插入图片描述

模拟点云用于数据增强训练带来的性能

我们在训练模型的时候将模拟的点云用作数据增强，并测试增强前后的性能对比。

模拟点云的有效、通用性

在这里插入图片描述

模拟方法的先进性

在这里插入图片描述
可以发现我们的方法带来了稳定的性能提升，且高于其他方法。
但是：提升依旧有限，仅靠模拟点云作为数据增强的一种形式并不能让模型充分拟合困难的雨天场景。

(b) SRKD 晴雨知识蒸馏框架

以晴天数据为输入的教师模型指导输入雨天数据的学生模型。

在训练期间使用DRET作为数据扩充来扩展雨天数据是必要的，他支撑了训练的基本要求。
然而，仅靠这一数据增强的方法并不能解决雨天场景检测的挑战。
因此，我们设计了晴天到雨天的知识蒸馏框架，SRKD框架。

AWID自适应加权的实例蒸馏

挑战

在三维目标检测任务中，常用的一个知识蒸馏实现方式就是实例特征蒸馏，可以有效帮助模型鉴别一个目标实例的特征。
然而，在晴雨知识蒸馏中，直接朴素的实例特征蒸馏面临一个巨大挑战
直接进行蒸馏的结果如下，可以发现不仅没有提升反而产生了性能下降：
在这里插入图片描述
我们发现了进行实例特征蒸馏面对的挑战：晴雨下实例对数据的差异
在这里插入图片描述

AWID方法

通过对降雨和晴天条件下实例的数据进行比较分析，我们发现实例的变化主要体现在密度和形状的差异上。
为了克服这一挑战，我们提出的AWID利用相应的晴天和雨天物体之间的相似性作为提取权重，为实例特征蒸馏损失提供指导加权。
我们的自适应加权显著缓解了不同天气条件下密度和形状变化引起的差距。
在这里插入图片描述

权重可视化

在这里插入图片描述

PRD响应蒸馏

除了特征蒸馏，我们期望模型在同一场景下，晴天和雨天能够预测的一致结果
在这里插入图片描述

NAPC：感知噪声的预测修正

动机

知识蒸馏这种隐式处理并不能有效解决密集雨噪声的干扰
在这里插入图片描述
观察到雨天噪声的特性：
由车辆轮胎高速运动引起的飞溅水花，产生大量分布在车辆周围的噪声。
我们利用了模拟雨数据的关键优势：天然的雨噪声标签。来纠正目标周围噪声对预测的干扰。

NAPC方法

我们介绍了一种噪声感知预测校正头NAPC，它专注于抑制降雨噪声。
在这里插入图片描述
在这里插入图片描述

跨晴雨知识蒸馏的鲁棒三维目标检测框架（SRKD）实验

有效性、通用性

描述方面不多赘述，大家可以自己观看，有需要可以阅读原文中的experiments部分
在这里插入图片描述
在这里插入图片描述

可靠性（在晴天下的性能表现）

在这里插入图片描述

先进性（与其他方法的对比）

在这里插入图片描述

可视化与消融实验

在这里插入图片描述在这里插入图片描述

总结与展望

总结

  • 本文提出了一种结合雨水动力学和降雨环境理论的降雨数据模拟方法DRET，可高效低成本生成模拟的雨天激光雷达点云数据用于训练.
  • 本文还提出了跨晴雨知识蒸馏（SRKD）增强三维目标检测器在雨天的鲁棒性。
  • 在Waymo自动驾驶数据集上进行的实验表明，方法可与多种三维目标检测器结合使用，显著提升雨天的目标检测精度，并且不会增加任何推理延时。

展望：恶劣天气下如何进行更鲁棒的检测/感知？

  • 关注到其他恶劣天气，能在不同特质的恶劣天气下展示一致的鲁棒性能
  • LiDAR降质严重，数据缺陷导致性能始终存在瓶颈，多模态融合（4D Radar）
  • …

一种创新的知识蒸馏思想启发：模型差异→数据差异

那我们本次AAAI2024的工作介绍到这里就结束了。
最后，我想跟大家分享、讨论最后一部分内容：一种创新的知识蒸馏思想启发，也是我们这个工作的一个重要启发。
传统的知识蒸馏都是通过一个好的模型蒸馏性能较弱的模型，来实现轻量化压缩、提高泛化性能等，我们把这种方式简单归纳为模型差异。
那今天想与大家讨论的就是从模型差异到数据差异的这一个思想启发，他跟传统知识蒸馏不同的就是，teacher和student可能使用同一模型，但是数据输入却补相同，用高质量的数据指导低质量的数据。
我这里也列举了在三维目标检测方向中这一思想的顶会论文，分别是
在这里插入图片描述
我个人认为还是一个比较有趣且有意义的思路，优点就是通用性强，不会增加推理延时。但是并不是直接简单套用就可以得到结果，这个过程中一定会遇到一些数据差异带来的挑战，如果你的方法很好地解决了这些挑战我认为就会是一篇不错的成果。

参考文献

[1] Dong-Hee Paek, Seung-Hyun Kong, and Kevin Tirta Wijaya. K-radar: 4d radar object detection for autonomous driving in various weather conditions. Advances in Neural Information Processing Systems, 35:3819–3829, 2022.
[2] Zheng W, Hong M, Jiang L, et al. Boosting 3d object detection by simulating multimodality on point clouds[C]//CVPR. 2022: 13638-13647.
[3] Zheng W, Jiang L, Lu F, et al. Boosting single-frame 3D object detection by simulating multi-frame point clouds[C]//ACM MM. 2022: 4848-4856.
[4] Huang X, Wu H, Li X, et al. Sunshine to Rainstorm: Cross-Weather Knowledge Distillation for Robust 3D Object Detection[J]. arXiv preprint arXiv:2402.18493, 2024.
[5] Bang G, Choi K, Kim J, et al. RadarDistill: Boosting Radar-based Object Detection Performance via Knowledge Distillation from LiDAR Features[J]. arXiv preprint arXiv:2403.05061, 2024.

zhSunw
关注
  • 31
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
AAAI-2024-计算机视觉（CV）CCF-A类顶会，已接受论文合集
03-12
AAAI-2024-计算机视觉（CV）CCF-A类顶会，已接受论文合集
pytorch-vsumm-reinforce:AAAI 2018-具有深度强化学习功能的无监督视频摘要（PyTorch）
05-12
pytorch-vsumm-reforce 此存储库包含AAAI'18论文的Pytorch实施-。 原始的Theano实现可以在找到。 主要要求是 （ v0.4.0 ）和python 2.7 。 和可能未安装在您的计算机中。 请安装其他缺少的依赖项。开始吧下载预处理...
AAAI2024 The Thirty-Eighth Conference on Artificial Intelligence
HelloWorld的博客
05-23 1万+
For information about past AAAI Conferences, please consult the following pages.https://aaai.org/conference/aaai/https://aaai.org/aaai-conference/2024 年 2 月在加拿大温哥华举行的第 38 届 AAAI 人工智能年度会议The 38th Annual AAAI Conference on Artificial IntelligenceMain Confere
AAAI2024-分享若干篇有代码的优秀论文-图神经网络、时间序列预测、知识图谱、大模型等
qq_37977007的博客
03-03 1495
介绍了2024年AAAI会议上有代码的论文，列出多个研究的方向
AAAI 2024 时序和时空论文总结
suzukiwudi的博客
12-21 3130
AAAI今年共有12100篇投稿（Main Technical Track），有9862篇经过严格审稿，共录取了2342篇论文，录取率23.75%。12月19日，为AAAI 2024camera-ready的截止日期，AAAI 24效率很高，也很快放出了录取论文的标题和作者。AAAI 2024将在2024年2月20日到27日于加拿大温哥华举行。本文总结了2024 AAAI上有关包括时间序列预测，分类，异常检测，因果发现等相关论文。
aaai2018-paperid-62
05-14
AAAI2018文件ID 62 本文研究了来自AAAI-14，AAAI-16，IJCAI-13和IJCAI-16的AI论文的研究文献。... 选择这些原始的50篇论文是为了检查会议中的每篇论文，从Agent跟踪中列出的第一篇论文开始。 分析和数字 Evalua
Video-Summarization-Pytorch：IMPLEMENT AAAI 2018-具有深度强化学习的无监督视频摘要（PyTorch）
02-23
深度强化学习，用于具有多样性代表奖赏的无监督视频摘要。 使用python = 3.x实现要求python = 3.x 火炬显卡制表开始吧git clone ...
论文ST-ResNet-AAAI17-Zhang1
08-03
《ST-ResNet：深度空间-时间残差网络用于城市人群流动预测》 城市人群流动的预测对于交通管理和公共安全具有重大意义，但也是一个极具挑战性的任务，因为它受到多种复杂因素的影响，如地区间的交通流、事件以及天气...
AGI 之 【Hugging Face】 的【问答系统】的 [构建问答系统] / [ 构建基于评论的问答系统 ] 的简单整理
仙魁XAN
07-12 767
AGI，即通用人工智能（Artificial General Intelligence），是一种具备人类智能水平的人工智能系统。它不仅能够执行特定的任务，而且能够理解、学习和应用知识于广泛的问题解决中，具有较高的自主性和适应性。AGI的能力包括但不限于自我学习、自我改进、自我调整，并能在没有人为干预的情况下解决各种复杂问题。AGI能做的事情非常广泛：跨领域任务执行：AGI能够处理多领域的任务，不受限于特定应用场景。自主学习与适应：AGI能够从经验中学习，并适应新环境和新情境。
人工智能在自动驾驶中的目标检测研究
zhumin726的专栏
07-10 663
视觉识别技术在自动驾驶中的目标检测扮演着不可或缺的角色。通过不断优化目标检测算法，结合最新的深度学习技术，自动驾驶车辆将能够更加准确、安全地感知周围环境，实现真正的无人驾驶。视觉识别技术使得车辆能够像人类一样“看”到周围环境，通过图像处理和深度学习算法，实现对周围目标的检测和识别。我们将详细讨论目标检测的基本原理、常用算法、最新进展、已有的开源项目及其在自动驾驶中的应用和挑战。通过这些详细的讨论和分析，我们可以更好地理解人工智能在自动驾驶中如何通过视觉识别进行目标检测，并进一步推动这一技术的研究和应用。
YOLOv10改进 | 特殊场景检测篇 | 轻量级的低照度图像增强网络IAT改进YOLOv10暗光检测（全网独家首发）
热门推荐
Snu77的博客
07-11 1万+
本文给大家带来的改进机制是轻量级的变换器模型：Illumination Adaptive Transformer (IAT)，用于图像增强和曝光校正。其基本原理是通过分解图像信号处理器（ISP）管道到局部和全局图像组件，从而恢复在低光或过/欠曝光条件下的正常光照sRGB图像。具体来说，IAT使用注意力查询来表示和调整ISP相关参数，例如颜色校正、伽马校正。模型具有约90k参数和约0.004s的处理速度，能够在低光增强和曝光校正的基准数据集上持续实现优于最新技术（State-of-The-Art, SOTA）
线性代数|机器学习-P22逐步最小化一个函数
scar2016的博客
07-10 951
主要讲的是无约束情况下的最小值问题。矩阵求导泰勒公式，函数到向量的转换梯度下降牛顿法梯度下降。
聊聊如何在内网下构建大模型微调环境
python1234567_的博客
07-12 697
LlamaFactory新版更新后，还是比较方便，只是说llamafactory-cli命令的确是有点蒙，踩个坑就好了。对于LlamaFactory微调来说，本身不难，毕竟都是配置；主要是在内网环境下的依赖包拉取安装是真麻烦，但其实也还好。走一遍的话，还是可以学到很多的。​。
人力资源人工智能依赖于良好的数据
最新发布
yongyoudayee的博客
07-12 578
人力资源不断发展(HR)人工智能在技术领域(AI)它已经成为改变游戏规则的力量。人工智能驱动的工具有望简化人力资源流程，提高管理能力，彻底改变员工体验。然而，这些人工智能解决方案的有效性仅取决于算法的复杂性或计算硬件的能力。事实上，这种模式的很大一部分取决于一个基本的——良好的数据。
阿里发布大模型发布图结构长文本处理智能体，超越GPT-4-128k
夕小瑶科技说
07-09 865
随着大语言模型的发展，处理长文本的能力成为了一个重要挑战。虽然有许多方法试图解决这个问题，但都存在不同程度的局限性。最近，阿里巴巴的研究团队提出了一个名为GraphReader的新方法，通过将长文本组织成图结构，并利用智能体来探索这个图，成功提升了模型处理长文本的能力。GraphReader的核心思想是将长文本分解成关键元素和原子事实，构建成一个图，然后让智能体在这个图中探索和推理。这种方法不仅能有效处理超长文本，还在多跳问答等复杂任务上取得了优异表现。
AI技术的转变：从辨别式到生成式
学IT，找陈寒
07-09 3354
李彦宏在2024世界人工智能大会上的发言，提醒我们在AI技术发展的道路上，不要盲目追求技术本身或表面的用户数据，而应更多地关注技术的实际应用和产业价值。在大模型技术与个性化应用之间找到平衡，将是未来发展的关键。作为AI从业者和技术爱好者，我们应以务实的态度，探索AI技术在各个领域的实际应用，为产业发展和社会进步贡献力量。通过李彦宏的发言，我深刻认识到AI技术发展的方向和挑战，也更加坚定了自己在这一领域继续探索和创新的信心。未来，愿我们共同努力，推动AI技术更好地服务于社会和产业，为人类创造更美好的未来。
AAAI2024预测
09-02
很抱歉，但我无法找到关于AAAI2024的任何信息。我只能提供与AAAI-2020和AAAI-2021相关的引用内容。是关于AAAI-2020论文中的一篇与视频语言查询相关的文章引用，是关于AAAI-2021的一篇与交通流预测相关的文章引用。根据我所了解的信息，AAAI2024预测目前可能还没有相关的可引用内容。如果你对AAAI2024有特定的问题，我可以尽力帮助你回答。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [CBP:AAAI-2020论文“通过上下文边界感知的预测将视频中的语言临时查询”的正式Tensorflow实施](https://download.csdn.net/download/weixin_42132325/18335619)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* *3* [AAAI2021论文速递：基于时空图扩散网络的交通流量预测](https://blog.csdn.net/qq_33431368/article/details/114985195)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值