论文速读 – BEVerse: Unified Perception and Prediction in Birds-Eye-View for Vision-Centric Autonomous Driving
先赞后看,养成好习惯。有帮助的话,点波关注!我会坚持更新,感谢您的支持!
参考:
1. BEVerse
2. 3D视觉工坊解析
3. 评价指标mAP
4. nuScenes数据集评价指标
一. 摘要
文中提出了BEVerse网络,是一个统一的架构,完成基于多视觉的感知和预测任务。利用多时间戳和多视角图像进行共享特征提取,提升(lifting)生成4D BEV
表征。自运动补偿之后,利用时空编码器进一步BEV特征提取。最后,使用多任务解码器进行联合推理和预测。在解码器上,提出栅格采样器
(grid sampler)来生成支持不同范围和粒度的BEV特征。此外,还设计一个迭代流(iterative flow)方法,实现内存高效的预测。实验发现,时域信息可以提升3D目标检测和语义地图的构建
,而多任务学习也有利于运动预测。
二. 介绍
主要工作:
- 提出了
统一了感知和预测任务
,多相机视角BEV表征的框架BEVerse。 - 提出了
迭代流
的方法,进行高效的未来预测和多任务学习。 - BEVerse 作为多任务模型,在3D目标检测、语义地图构建和运动预测任务上,达到sota水平。
相关工作:
3D目标检测:FCOS3D、PGD、DETR3D、PETR、BEVDet
语义地图构建:HDMapNet(在线构建)、BEVSegFormer
运动预测:非监督学习方式居多、FIERY (第一个BEV运动预测框架)、StretchBEV
多任务学习:工作集中在怎样设计共享结构、怎样平衡优化多任务。FAFNet、MotionNet
三. 网络和方法
BEVerse从N个时间戳中获取M个环视摄像头图像,并将车辆自运动(ego-motion)和摄像头参数作为输入。数据结果包含当前帧障碍物的3D boundingbox
、语义地图
和运动预测
。BEVerse由四个子模块
组成:图像-视图编码器、视图转换器、时空BEV编码器和多任务解码器
。
3.1 图像-视图编码器
采用SwinTransformer做主干网络(backbone),创建多层次特征C2、C3、C4、C5,每一层宽高减半。采用BEVDet中上采样C5,将其与C4进行concatenate。
3.2 视图转换器
因为要学习3D时序信息,视图转换器将多视图特征F
和输出的BEV特征G
。采用LSS(LiftSplat-Shoot)
方法,特征F使用1*1卷积处理预测分类深度分布F’。
3.3 时空BEV编码器
先将过去帧进行时间对齐,使用FIERY方法,BEV编码器由一组时域块组成。主要包含3D卷积和全局池化和中间特征压缩层。
3.4 任务解码器
多任务解码器是并行和独立的一组解码器组成,每个任务解码器包括栅格采样器(grid sampler)、任务编码器(task encoder)和任务头(task head)。栅格采样器作用是裁剪任务特殊区域,通过bi-linear插值转化到理想的分辨率。任务编码器是按照BEVDet,使用ResNet中的基础模块取构建主干网络,并结合与图像-视图解码器类似的多尺度特征。
3.5 输出头
3D物体检测头。与激光存在的维度间隙(dimension gap)已经消失,直接使用CenterPoint第一阶段作为3D检测头。
语义地图构建头。
运动预测头。不同于以上只关心当前帧的头,运动预测是对未来状态的预报。FIERY预测模块有效性受两个重要因素制约:(1)每个BEV像素共享采样的全局潜向量φt,不能代表许多个体的不确定性。(2) 仅从采样潜向量初始化未来状态,这样会提高预测的难度。与FIERY不同,我们提出了迭代流的方案,直接预测和采样潜在图,可以分离不同目标的不确定性。
四. 实验和结果
数据集:Nuscenes, 1000个自动驾驶视频片段,每个片段20s
- 700 --> 训练
- 150 --> 验证
- 150 --> 测试
评价标准:
3D目标检测
:nuScenes数据集评价指标
mAP:PR曲线下面积,各类的平均值
ATE、ASE、AVE、AOE、AAE
语义地图构建
:mIoU,主要包含元素有车道线,人行横道,道路边界
运动预测
:IoU和VPQ
(Future Video Panoptic Quality)
结果: