DV-3DLane：基于双视图表示的端到端多模态3D车道检测

DV-3DLane：基于双视图表示的端到端多模态3D车道检测

• 论文链接：https://arxiv.org/pdf/2406.16072

• 代码链接：https://github.com/JMoonr/dv-3dlane

摘要

本文介绍了DV-3DLane：基于双视图表示的端到端多模态3D车道检测。准确的3D车道估计对于确保自动驾驶的安全性是至关重要的。然而，主流的单目技术受到深度损失和光照变化的影响，这阻碍了准确的3D车道检测。相比之下，激光雷达点提供了几何线索，并且实现了精确定位。本文提出了DV-3DLane，这是一种新的端到端双视图多模态3D车道检测框架，其结合了图像和激光雷达点的优势。本文提出了在双视图空间（即透视图（PV）和鸟瞰图（BEV））中学习多模态特征，其有效地利用了模态特定信息。为了实现这一点，本文引入了三种设计：1）一种双向特征融合策略，其将多模态特征集成到每个视图空间中，利用了它们的独特优势；2）一种统一的查询生成方法，其利用来自PV和BEV空间的车道感知知识来生成查询；3）一种3D双视图可变形注意力机制，其将PV和BEV空间的可辨识特征聚合到查询中，用于准确的3D车道检测。在公开基准OpenLane上进行的大量实验证明了DV-3DLane的有效性和效率。它实现了最先进的性能，F1得分显著提高了11.2，误差大幅降低了53.5%。

附赠自动驾驶最全的学习资料和量产经验：链接

主要贡献

本文的贡献为如下三方面：

1）本文引入了DV-3DLane，这是一种利用双视图表示能力的端到端多模态3D车道检测框架；

2）本文设计了BFF策略来相互融合跨模态的特征，并且设计了UQG来合并来自双视图的车道感知查询，从而生成统一的查询集。此外，本文引入了一种3D双视图可变形注意力机制，以有效地聚合双视图特征；

3）本文在OpenLane基准上进行全面实验，以验证所提出方法的有效性。实验结果表明，DV-3DLane显著优于先前的方法，在F1得分上提高了11.2，误差大幅降低了53.5%。此外，本文引入了一种3D双视图可变形注意力机制，以有效聚合双视图特征。

论文图片和表格

总结

本项工作引入了DV-3DLane，这是一种新的端到端多模态3D车道检测框架，它利用了PV和BEV空间的优势。为此，本文提出了三种新的模块，它们在不同级别上有效地利用了双视图表示，从而持续提升了性能。大量的实验证实了DV-3DLane取得的卓越进步，从而在OpenLane上建立了新的技术标杆。