现有3D感知工作
介绍一篇你最熟悉的3D感知方向的论文,并说一下其具体的实现流程
BEVDet
系列算法是鉴智机器人开源的BEV
感知算法,基于LSS
提出的方法实现从图像空间到BEV
空间的视图变换。
BEVDet
采用结构化的设计思想,整个模型分为4
个主要模块:图像视图编码器(Image-view Encoder
);视图变换器(View Transformer
);BEV
编码器(BEV Encoder
);检测头(Task-specific Head)。
是否了解BEVDet后续改进的相关技术路线
BEVDepth
BEVDet4D
由于单帧数据包含的信息有限,采用单帧图像数据的纯视觉BEV
感知算法在与时间相关的预测任务(比如速度)上的性能比基于激光雷达或者毫米波雷达的方法要差很多。BEVDet4D在BEVDet
的基础上加入时序融合模块,实现在4D
时空中的自动驾驶感知任务。
为了利用时间信息,BEVDet4D
通过保留上一帧中视图转换器生成的BEV
特征来扩展BEVDet
,上一帧中保留的特征将与当前帧中的特征合并,合并的方式是一个简单的Concat
操作。在合并前,上一帧的特征需要先对齐到当前帧,实验表明,精确的对齐操作有助于提高速度预测的精度。