目录
BevFusion
BevFusion是一种多传感器融合技术,它可以将来自不同传感器(如LiDAR和相机)的数据融合到一个统一的BEV表示中。BevFusion的优点在于它能够结合多种传感器的优点,从而在物体检测和跟踪任务中取得更好的性能。
- 相机端采用BEV算法生成BEV特征,如bevformer、LSS
- LIDAR端用3D卷积提取BEV特征,与相机端特征concat起来。
- 采用通道注意力,全局池化+1*1卷积表示相机端和LIDAR端特征的权重比。
背景介绍
我们将目前SOTA里的前融合方法大致分为两类,一种如图1(a)所示,首先将雷达点,根据外参和相机内参投影到图像或图像提取的2D特征上去采样对应的视觉特征,然后拼接到点云上,后面就可以通过常用的点云3D检测算法进行处理,比如3DSSD[1], PointPillar[2], CenterPoint[3]等,目前PointPainting[4], PointAugment[5]就属于这类工作;第二种如图1(b)所示,先对雷达点云进行特征提取,然后将特征或者初始预测值按照外参和相机内参投影到图像或图像提取