https://arxiv.org/pdf/1911.10150.pdfarxiv.org
自动驾驶感知模块中,激光雷达跟照相机是关键传感器,然而,近期的3D目标检测任务中,以纯点云方法独占鳌头,没有用到照相机的数据。本文主要在研究如何弥补这其中的差距。
点云数据提供了非常精确的位置信息,而照相机数据提供了很好的语意信息。如何将两者优势都发挥,则能有效的提升模型精度。
本文提出了一套pipline,能够快速的将点云赋与图像语意分割后的信息,并在VoxelNet、PointPillar、PointRCNN,实验证明,赋与语意分割的点云能够提高精度,在Kitti BEV Track达到领先名次。
介绍:
作者介绍了四种当前被提出来融合视角的方法,与此方法的优势。
- 为什么大家都只用lidar,而不合并两个数据?
-> 视角不对齐的问题很难解决
BEV视角下有许多优势,如物体大小不会因为远近而改变,也不会有物体互相遮挡问题,因此我们会倾向于将数据转到BEV视角进行操作,然而lidar很容易转换成BEV,camera很难。
2. 为何采用sequential approach,而非端到端?
之所以分阶段,是因为语意分割通常是中间任务,可以应用于许多的下游任务,因此分阶段能够有效的利用计算资源。
方法: