论文标题为“Talk2BEV: Language-enhanced Bird’s-eye View Maps for Autonomous Driving”,主要介绍了一种新型的视觉-语言模型(LVLM)界面,用于自动驾驶情境中的鸟瞰图(BEV)映射。以下是论文的主要内容概述:
论文摘要和引言
- 主题:Talk2BEV是一种结合了最新的大型语言模型(LLMs)和大型视觉-语言模型(LVLMs)的系统,用于增强自动驾驶(AD)系统中的鸟瞰图(BEV)。
- 目标:通过语言增强的BEV地图,Talk2BEV旨在提供全面的场景理解和推理,以应对各种道路情境。
- 特点:系统不需要针对BEV的特定训练或微调,能够处理多种用户查询,包括自由形式文本查询、多项选择题和空间推理查询。
相关工作
- 论文回顾了与大型视觉-语言模型相关的最新进展,特别是在自动驾驶领域的应用。
Talk2BEV系统
- 语言增强地图:使用预训练的LVLMs从鸟瞰图中提取通用视觉-语言特征。
- 响应生成:生成对用户查询的响应,使用GPT-4等LLMs解析增强的BEV并生成响应。
- 实施细节:使用多视角RGB图像和激光雷达点云生成BEV地图,然后通过LVLMs增强对象的图像语言特征。
Talk2BEV-Bench基准
- 语言增强地图的真实性:从NuScenes数据集中生成1000个场景的真实语言增强BEV地图。
- 问题生成和评估指标:创建超过20000个由人类验证的问题和答案对,涵盖多种评估维度。
结果
- 量化结果:在Talk2BEV-Bench上评估Talk2BEV的表现,包括视觉和空间理解任务。
- 定性结果:展示了Talk2BEV在NuScenes数据集中的应用案例,如预测潜在危险驾驶动作和提供解决方案。
- 空间操作符的影响:展示了空间操作符在空间推理任务中的性能。
- 不同对象类别的表现:报告了不同车辆类别(如两轮车、汽车、卡车和建筑车辆)的性能差异。
结论
- 总结:Talk2BEV利用最新的LLMs和LVLMs,处理包括视觉和空间推理、预测不安全交通互动等多种自动驾驶任务。
- Talk2BEV-Bench:为评估自动驾驶应用中的LVLMs提供了一个新的基准。
总体而言,这篇论文提出了一个创新的方法,通过语言增强的BEV地图,将大型语言模型和视觉-语言模型集成到自动驾驶系统中,以提升场景理解和决策制定能力。
这篇论文的详细信息如下:
论文团队
- 完成团队:由 Vikrant Dewangan, Tushar Choudhary, Shivam Chandhok, Shubham Priyadarshan, Anushka Jain, Arun K. Singh, Siddharth Srivastava, Krishna Murthy Jatavallabhula, 和 K. Madhava Krishna 完成。
- 所属机构:来自印度国际信息技术研究所(IIIT)海得拉巴、不列颠哥伦比亚大学、塔尔图大学、TensorTour Inc. 和麻省理工学院(MIT)【20†source】。
应用场景
- 主要应用场景:自动驾驶(AD)系统中的鸟瞰图(BEV)增强。
- 目标:通过将语言和视觉模型结合在BEV地图表示中,以应对多种自动驾驶任务,包括视觉和空间推理、预测交通参与者的意图,以及基于视觉线索的决策制定【21†source】。
解决的问题
- 核心问题:现有自动驾驶感知系统主要关注预定义的物体类别和驾驶场景,缺乏灵活性和广泛适用性。
提出的解决方案
- Talk2BEV系统:这是首个用于自动驾驶场景的语言增强BEV地图系统,它使用预训练的图像-语言模型,不需要针对特定任务的训练或微调。此外,还开发了Talk2BEV-Bench基准,用于评估LVLMs在AD应用中的表现【22†source】。
实验验证方式
- 实验设计:使用Lift-Splat-Shoot模型从多视角图像生成BEV地图,并使用BLIP-2、MiniGPT-4 和 InstructBLIP-2等LVLMs计算视觉-语言特征。这些特征用于生成物体描述【23†source】。
- Talk2BEV-Bench基准:从NuScenes数据集生成1000个场景的语言增强BEV地图,包括超过20000个人类验证的问题-答案对,评估包括对象属性理解、实例计数、视觉推理、决策制定和空间推理在内的多个维度【24†source】。
数据集、实验设计和对比基线
- 数据集:使用NuScenes数据集。
- 实验设计:量化评估显示,Talk2BEV能够处理一系列视觉和空间理解任务,并且通过使用基本空间操作符API,显著提高了空间推理任务的性能【25†source】。
- 对比基线:为评估空间操作符的影响,实验中使用了一个随机猜测方法作为基线。结果显示,与直接使用LLM(如GPT-4)进行空间推理相比,整合空间操作符的Talk2BEV在Jaccard指数和距离误差方面表现显著提高【27†source】。
- 性能差异:在不同物体类别(如两轮车、汽车、卡车和建筑车辆)的表现中,小型车辆如自行车和摩托车的表现不如大型车辆【28†source】。
结论
- 总结:Talk2BEV利用最新的LLMs和LVLMs处理包括视觉和空间推理、预测不安全交通互动等多种自动驾驶任务。同时,Talk2BEV-Bench为后续的LVLMs