基于多视角融合的夜间无人车三维目标检测

基于多视角融合的夜间无人车三维目标检测

人工智能技术与咨询 

来源：《应用光学》，作者王宇岚等

摘 要：为了提高无人车在夜间情况下对周围环境的物体识别能力，提出一种基于多视角通道融合网络的无人车夜间三维目标检测方法。引入多传感器融合的思想，在红外图像的基础上加入激光雷达点云进行目标检测。通过对激光雷达点云进行编码变换成鸟瞰图形式和前视图形式，与红外图像组成多视角通道，各通道信息之间融合互补，从而提高夜间无人车对周围物体的识别能力。该网络将红外图像与激光雷达点云作为网络的输入，网络通过特征提取层、候选区域层和通道融合层准确地回归检测出目标的位置以及所属的类别。实验结果表明，该方法能够提高无人车在夜间的物体识别能力，在实验室的测试数据中准确率达到90%，速度0.43 s/帧，达到了实际应用要求。

关键词：红外图像；激光雷达点云；多视角通道；三维目标检测

引言

夜间无人车在道路上行驶需要感知周围环境的车辆、行人[1-2]等，基于红外摄像头的感知方案[3-5]虽然能够感知车辆前方的障碍物，但是无法准确获取障碍物的位置信息且准确率有限。激光雷达是一种主动传感器，通过发射与接收激光光束获取环境中物体的信息[6-7]。近几年陆续有研究人员利用深度学习在激光雷达点云上进行目标检测，斯坦福大学的Point Net[8]直接将激光点云作为输入，并解决了旋转问题和无序性问题。2017年苹果公司Voxel Net[9]将激光雷达分成等间距的体素，并引入新的体素特征编码表示，在KITTI[10]上取得很好的成绩。清华大学提出了MV3D[11]，将彩色图像与激光雷达点云融合进行三维目标检测，该算法在KITTI 上也表现出色。

上述前人的研究工作基本都是在白天条件下的彩色图像上进行，而在夜间，无人车往往需要依赖红外图像，但红外图像的成像原理是通过红外摄像头探测物体自身的红外辐射，再通过光电变换将物体的温度分布变换成图像。红外图像具有无色彩、简纹理、低信噪比等特点。因此在红外图像上进行目标检测效果较差。考虑到各个传感器在不同方面均有利弊，本文利用多传感器融合的思想，提出了利用多视角通道融合网络的基于红外图像与激光雷达点云的夜间无人车三维目标检测方法。实验结果证明，该方法的准确率高且能基本满足实时性的要求。

1 多视角通道融合网络

本文所采用的多视角通道融合网络由特征提取模块、候选区域生成模块和通道融合模块组成，整体结构图如图1所示。

特征提取模块由特征编码网络和特征解码网络2 部分组成，结构如图2所示。