点击下方卡片,关注“自动驾驶之心”公众号
ADAS巨卷干货,即可获取
论文作者 | Garfield
编辑 | 自动驾驶之心
1. 论文信息
2. 引言
这篇论文介绍了一种新的3D object detection方法,这对于自动驾驶、机器人技术和监控等应用至关重要。传统的3D object detection方法使用鸟瞰视角(BEV)方法,将3D场景简化为2D表示。然而,常规的BEV方法在本质上大多是静态的。本文提出了一种名为DynamicBEV的动态方法。
传统BEV方法的局限性
静态Queries:传统方法主要使用静态Queries,其中Queries权重在训练阶段预定义,并且在推理期间不会更改。
有限的背景利用:由于Queries的静态性质,这些模型难以有效地利用空间和时间背景,并适应复杂场景。
DynamicBEV的进步
动态Queries:与静态Queries不同,DynamicBEV中的动态Queries可以迭代地适应复杂场景。这种适应性允许模型捕捉更复杂的时空关系。
特征聚类:DynamicBEV采用特征聚类来创建自适应场景表示。
Top-K 注意机制:在这种方法中,采用了一种Top-K注意机制,每个Queries都会调整以适应最相关的前k个聚类,允许从各种特征聚类中聚合信息。
多样性损失:引入了多样性损失,确保注意权重的平衡,使模型不仅考虑最突出的特征,还考虑较不明显的特征。这提高了模型的准确性、鲁棒性和适应性。轻量级时间融合模块(LTFM):引入了这个模块以提高效率。与传统方法相比,LTFM在不显著增加计算成本的情况下,提高了时间背景的合并。在nuScenes数据集上的评估表明,DynamicBEV在准确性和效率方面都超过了最先进的方法。DynamicBEV,通过其对动态Queries的创新使用以及像LTFM这样的有效机制,为3D object detection领域提供了有希望的进步。通过允许Queries动态适应、通过多样性损失利用多样化特征,以及高效合并时间背景,DynamicBEV显著提高了各种场景下3D object detection的性能。
3. 方法
DynamicBEV 是一个创新的3D物体检测方法,它通过动态查询的使用,改进了传统基于静态查询的方法。这个方法包括几个关键组件:一个基础网络用于初步的特征提取;动态查询演化模块(DQEM),用于通过 K-means 聚类在每个查询周围分组特征,带来自适应的结构表示;以及 Top-K 注意模块和轻量级时间融合模块(LTFM),分别用于迭代优化查询和有效捕获每个查询的时间背景。这些组件共同作用,实现了在复杂3D场景中鲁棒且精确的物体检测。Initialization of Queries (Pillars)
在“查询(Pillars)的初始化”这一部分,通过初始化查询(也称为pillars)来建立在3D空间中检测对象的基础。这些pillars被放置在鸟瞰图(BEV)空间中,并通过集合 (Q) 数学符号化,其中集合中的每个元素代表pillar的空间坐标、维度、方向角和速度分量等属性,。数学表述结合叙述,生动地描述了3D空间中每个pillar的内在特性。
K-means Clustering
在“K均值聚类”部分,方法论的重点是将周围的特征划分为聚类。这一部分的数学基础是使用K均值聚类,其中每个查询的周围特征 (F) 被划分为 (K) 个聚类 。这个技术过程是至关重要的,因为它决定了pillars如何适应3D空间中的局部化模式和特征,促进了对对象特征的细致理解。
Diversity Loss for Balanced Feature Aggregation
在标题为“多样性损失用于平衡特征聚合”的部分,介绍并数学定义了一个新的损失函数 ,。该部分旨在确保模型不过度集中于主导特征,促进了对各种特征聚类的平衡关注。它详细阐述了多样性损失的数学和概念基础,倡导更加包容的特征聚合过程。
Dynamic Adaptation of Queries
这部分主要分为三个步骤
初始特征聚合
这个等式描述了聚合特征的初始过程。这里,(F_0) 代表初始聚合特征,而 是一个聚合每个查询周围特征的函数。该函数接受查询 (Q) 和簇 作为输入。目标是合并来自各种簇的信息,为每个查询创建一个综合的初始特征表示。
Top-K 注意力更新
这个等式计算每个查询和每个簇之间的注意力分数。这里,注意力函数,,通过执行点积后跟一个 softmax 函数,计算每个查询 (Q) 和簇 之间的相似性。这个过程为与每个查询更相关的簇分配更高的权重,确保捕获最重要的特征。
查询的迭代更新
这个等式表示查询的迭代更新。新查询是通过将更新函数应用于初始查询,初始聚合特征和注意力分数获得的。更新函数可能涉及如加权和和规范化之类的操作,允许查询动态适应并更具代表性地捕获 3D 空间中的对象特征。
概括一下,也就是最初,每个查询从其周围环境(由簇表示)收集信息,这些信息聚合不太受每个簇的相关性的影响。然后,模型计算注意力分数,确定每个簇对每个查询的重要性,确保给予更多关注的相关特征。最后,查询会动态更新,使它们在捕获来自特征簇的基本特征方面更具适应性和效力,使它们能够通过迭代更好地代表 3D 空间中的对象。这种动态适应促使object detection过程更加细致和有效。Lightweight Temporal Fusion Module“轻量级时态融合模块”部分深入探讨了在3D object detection中管理时态上下文的有效策略。它系统地展开了计算过程,描述了通过加权组合和动态时态聚合初始化和更新时态查询的过程。本节体现了计算效率的本质,通过利用现有的计算来管理时态上下文,减轻了对资源密集型操作的需求。
4. 实验
表格展示了我们的DynamicBEV与其他最新方法的性能比较。在nuScenes验证数据集上,DynamicBEV以较大的优势超越了所有其他方法。当使用ResNet50背景,DynamicBEV达到了55.9的NDS,略高于SparseBEV的54.5。更重要的是,当应用透视预训练时,DynamicBEV的NDS分数升至57.0,超过SparseBEV的55.8。
DynamicBEV始终保持高平均精度(mAP)分数,证明了其强大的object detection能力。在真阳性度量如mATE,mASE等方面,DynamicBEV与SparseBEV和其他竞争方法相比表现良好。此外,该模型在细粒度评估指标如对象方向误差(mAOE)和属性误差(mAAE)方面也表现良好。透视预训练的应用不仅改进了几乎所有评估指标,还展示了模型的适应性和灵活性。
DynamicBEV的优势主要源于两个固有方面:首先,DynamicBEV的设计使其能够更好地捕捉长距离依赖性。在3D object detection中,一个对象的不同部分可能在空间上是遥远的,但在上下文中是相关的。例如,车的前部和后部在BEV空间中可能相距很远,但它们属于同一个对象。作为一种基于静态查询的方法,SparseBEV可能会在这样的场景中遇到困难,因为其查询点是固定的,不能动态适应变化的场景。相比之下,DynamicBEV通过其动态查询演化模块,可以实时更新其查询点,从而更好地捕捉这些长距离依赖性。其次,DynamicBEV更能应对真实世界场景的动态性。在真实世界场景中,对象可能会移动、旋转或改变形状。在这样动态变化的场景中,具有静态查询点的SparseBEV可能会遇到困难。然而,DynamicBEV通过其动态查询和K-means聚类,可以动态调整其查询点,从而更好地适应不断变化的场景。在接下来的部分中,我们将通过消融实验进一步验证这些观察结果。
5. 讨论
本文提出的DynamicBEV方法在3D object detection领域展现了显著的创新性和优越性。首先,该方法引入了动态查询设计,这是一种突破性策略,有效捕获了长距离依赖,弥补了传统静态查询在处理空间分布广泛的对象时可能遇到的问题。动态查询通过实时更新查询点,允许模型更敏感地捕捉场景的动态变化,增强了模型对不同物体部分之间复杂关系的理解和处理能力。
其次,DynamicBEV方法还采用了透视预训练策略,进一步提高了模型的性能。这种预训练方法通过在多个透视图中训练模型,提高了模型在多个评估指标上的表现,显示了该模型在不同任务和视角下都有着优秀的适应性和灵活性。
在与当前最先进的方法进行比较时,DynamicBEV在nuScenes验证数据集上表现卓越,不仅在常规的mean Average Precision (mAP)评估指标上保持了高分,还在nuScenes特有的综合评估指标NDS上达到了新的高度。该方法在各种不同的网络配置和输入规模下都能保持稳定和高效的性能,证明了其强大的泛化能力。
DynamicBEV方法在真实世界的动态场景中表现出了非凡的鲁棒性。由于采用了动态查询和K-means聚类,即便在面对对象移动、旋转和形状变化等复杂变化时,该方法也能够有效地调整其查询点,保持高水平的检测性能。
然而,值得注意的是,尽管DynamicBEV在性能上表现出色,但其模型复杂性相对较高。动态查询和透视预训练的引入可能增加了模型的计算负担。因此,未来的研究可以考虑在维持检测性能的基础上,探索如何优化和简化模型结构,以提高模型的计算效率。
6. 结论
DynamicBEV作为一个新颖而强大的3Dobject方法,成功地解决了传统方法在处理动态场景和长距离依赖时的问题,表现出了良好的鲁棒性和广泛的适用性。
① 全网独家视频课程
BEV感知、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、协同感知、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频(扫码即可学习)
视频官网:www.zdjszx.com② 国内首个自动驾驶学习社区
近2000人的交流社区,涉及30+自动驾驶技术栈学习路线,想要了解更多自动驾驶感知(2D检测、分割、2D/3D车道线、BEV感知、3D目标检测、Occupancy、多传感器融合、多传感器标定、目标跟踪、光流估计)、自动驾驶定位建图(SLAM、高精地图、局部在线地图)、自动驾驶规划控制/轨迹预测等领域技术方案、AI模型部署落地实战、行业动态、岗位发布,欢迎扫描下方二维码,加入自动驾驶之心知识星球,这是一个真正有干货的地方,与领域大佬交流入门、学习、工作、跳槽上的各类难题,日常分享论文+代码+视频,期待交流!
③【自动驾驶之心】技术交流群
自动驾驶之心是首个自动驾驶开发者社区,聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多模态感知、Occupancy、多传感器融合、transformer、大模型、点云处理、端到端自动驾驶、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向。扫码添加汽车人助理微信邀请入群,备注:学校/公司+方向+昵称(快速入群方式)
④【自动驾驶之心】平台矩阵,欢迎联系我们!