读论文-基于循环gan特征增强的夜间车辆检测 Feature Enhancement Based on CycleGAN forNighttime Vehicle Detection

摘要

        现有的夜间车辆检测方法主要是通过检测前灯或尾灯来检测车辆。然而，复杂的道路照明环境对这些特性产生了不利的影响。本文提出了一种具有特征转换增强(feature translate enhancement, FTE)模块和目标检测(OD)模块的级联检测网络框架FteGanOd。首先，基于CycleGAN构建FTE模块，提出多尺度特征融合，增强夜间车辆特征检测;通过融合不同的卷积层，将黑夜和白天的特征结合起来，生成增强特征(EF)图。其次，在现有目标检测网络的基础上，改进OD模块，与FTE模块级联，检测EF地图上的车辆。本文提出的FteGanOd方法通过提高车辆与背景的对比度和抑制环境光的干扰，提高了夜间车辆识别的准确性。在Berkeley Deep Drive (BDD)数据集和我们的私有数据集上验证了提出的FteGanOd。实验结果表明，该方法能有效增强车辆特征，提高夜间车辆检测的准确性。

一、介绍

        车辆检测是目标检测领域的一个重要应用。更精确的昼夜车辆检测系统将促进未来更可靠的自动驾驶系统(ADS)和驾驶辅助系统(DAS)的发展。在夜间(弱光)条件下，由于车辆视觉信息较少，且光照环境复杂，增加了交通事故发生的概率。(a)车辆的视觉信息减少。夜间车辆与背景的对比度降低，车辆的特征不太明显。(b)照明环境复杂。由于车辆前灯和尾灯与其他各种灯光的干扰相混淆，导致车辆误检率高，对基于视觉的夜间车辆检测提出了严峻的挑战。

        现有的车辆检测方法大多采用前灯和尾灯作为主要的夜间车辆检测特征。传统的检测方法不是基于卷积神经网络(cnn)，而是利用前灯和尾灯来定位车辆[4]、[11]。通过分割图像对尾灯进行定位，假设车辆的典型宽度[4]、[5]，预测车辆边界框。首先对车辆尾灯进行配对得到区域建议，然后确定是否在这些区域建议中的车辆为[6]，[7]。在[10]中，提出了一种跟踪检测方法，通过跟踪前灯/尾灯来检测多辆车辆。这些传统的非cnn车辆检测方法有两个缺点。(1)由于城市中车灯、路灯、建筑灯光以及车辆反射灯光等复杂的照明条件，车辆检测容易出现错误，增加了误报率。(2)遮挡车辆或仅拍摄车辆侧面时，有时会遮挡车灯，增加漏检率。

        基于CNN的车辆检测算法逐渐变成了今年来研究的焦点，一些基于CNN的夜间车辆检测方法已经被调研了。Lin等[23]提出AugGAN将白天图像转换为夜间图像进行数据增强，然后将图像用于训练现有的检测系统，提高探测器的性能。然而，现有的夜间车辆检测方法仅增加了数据处理系统。Kuang等人[1]在2017年使用生物灵感增强方法对夜间图像进行特征融合和目标分类增强。2019年，他们结合传统特征和CNN特征生成感兴趣区域(ROI)[2]，[3]。上述方法结合了传统的机器学习方法和用于目标检测的深度学习方法，属于多阶段学习框架。然而，它们并不是一个端到端的学习框架，这使得培训过程很繁琐。

        基于深度学习的目标检测方法(Fast RCNN [29]， SSD[33]等)也可以用于夜间车辆检测。然而，这些方法是针对白天的目标检测而设计的，它们在夜间条件下使用导致从网络结构中提取特征的精度水平较低，车辆检测性能的比率较低。

        总之，弱光环境、复杂的照明和夜间检测网络的专业化结构是夜间车辆检测面临的三大挑战。低光环境增加了错过车辆的比率，因为车辆的模糊特征;在处理较复杂的交通场景时，复杂的照明会导致较高的误检率;而专门的夜间探测网络仍然不完善。然而，生成对抗网络(GAN)是一种风格的传输网络，可以将夜间图像转换为白天图像。GAN利用编码模块提取夜间图像的特征，利用解码模块恢复白天图像。

        因此，我们提出了一种新颖的夜间车辆检测框架FteGanOd(特征平移增强生成对抗网络目标检测)来克服上述挑战。FteGanOd包括特征平移增强(FTE)模块和对象检测(OD)模块，如图1所示。(1) FTE首先利用CycleGAN将图像从夜间转换为白天。接下来使用来自CycleGAN的多尺度特征来融合编码(夜间)特征和解码(白天)特征，形成增强特征(EF)地图。编码特征包含了夜间车辆前灯和尾灯的重要信息;解码特征包含白天特征，用于增强背景亮度，同时抑制大部分光源。(2) OD模块(改进型YOLO、RCNN或SSD)提取车辆抽象特征，检测EF地图上的车辆。

        本文剩余内容如下:第二部分介绍了夜间车辆检测方法、基于CNN的检测网络和基于GAN的检测网络。第三部分详细介绍了我们的夜探测网络FteGanOd。第四部分介绍了实验过程并对实验结果进行了讨论。最后，第五节提出结论和未来工作的可能性。

图1所示。FteGanOd夜间车辆检测与行为分析。 

二、相关工作

A.夜间车辆探测

        几乎所有的夜间车辆检测算法都将前灯/尾灯作为车辆定位的关键信息。在夜间图像中寻找红色或高光是以往方法获得区域建议的主要技术，并已被大多数文献证明是有效的。

        车辆roi(region of interest) 的获取可以采用以下技术:基于阈值的分割方法[5]、[12]、[18]，基于成对车辆照明的方法[6]、[8]、[14]、[16]，基于显著性映射的方法[17]、[27]，以及基于人工设计的特征提取方法[13]。获得roi后，我们需要进一步确定这些候选区域是否包含车辆。X. Dai[18]使用Hough变换检测前灯的圆，进一步分割区域来定位车辆。Pradeep等[14]采用红色阈值法获取roi，并根据形状相似度和区域大小搜索成对尾灯来检测车辆。Chen等人基于显著性方法[27]生成roi，并将可变形部件模型(DPM)应用于车辆检测。Kosaka等人[13]使用高斯拉普拉斯运算检测斑点后，使用SVM对车辆进行分类。

        近年来，基于cnn的方法在夜间车辆检测研究领域得到了越来越多的发展。[20][23]采用基于gan的数据增强方法对训练数据集进行扩展，以提高检测器的性能。Cai等人[19]结合视觉显著性和先验信息生成roi，并使用CNN作为分类器。Kuang等人[1]提出了一种生物启发的方法来增强图像对比度和亮度，并进一步提取了LBP、HOG和CNN的融合特征。他们还[3]提出了一种基于张量分解和特征排序的特征提取方法。在[2]中，将基于nakagami -image的方法与CNN特征相结合生成roi。参考文献[1][3]将传统方法与CNN方法相结合，提取不同的特征生成区域建议。Mo等人[24]通过训练基于cnn的高光检测器，成功地解决了其他灯和车辆灯之间混淆的问题。

        现有的带有视觉图像的夜间车辆检测方法主要采用车灯进行检测。特别是，基于cnn的方法比非cnn方法具有更强的适应性和鲁棒性。

B.基于深度学习的目标检测

        基于深度学习的目标检测方法可以分为两阶段检测和一阶段检测两种。

1)两级检测

        RCNN是第一种两级目标检测网络[28]。首先，选择搜索算法生成一系列区域建议;然后将建议输入CNN进行特征提取;最后，利用SVM预测每个区域提议是否包含一个对象。提出了一系列基于RCNN的改进网络，如Fast RCNN [29]，更快的RCNN [30]， SPP-Net[31]等。这些网络采用不同的方法去除检测网络中的冗余部分，以提高检测速度和准确性。

2)单级检测
        一级检测器，以SSD[33]和YOLO表示[34] -[36]，突破了两级探测器的检测速度瓶颈。但是，与两阶段方法相比，检测精度降低，特别是对于小目标。YOLOv3和SSD采用多尺度检测，提高小目标检测性能。

        这些检测网络在理想环境下具有较好的性能。但应用于夜间车辆检测时，精度较低。我们建议在基于cnn的检测框架之前加入FTE模块，结合昼夜特征对车辆进行检测。

3)GAN：生成对抗网络

        GAN具有发生器和鉴别器，在超分辨率[37]和去雨[38]等应用中取得了良好的效果。这些应用大多涉及到GAN生成图像来增强训练数据，从而生成类似于真实图像样本的“虚假”图像。

        基于gan的图像到图像的转换是指将图像从一个场景转换到另一个不同的场景。Pix2pix[39]，[40]使用成对的图像作为监督实现图像到图像的转换。然而，由于车辆移动频繁，很难在固定的位置获取成对的白天和夜间图像样本。为了解决输入昼夜配对图像的问题，首先提出了循环一致性损失的CycleGAN[26]，实现了对未配对图像的图像平移。图像平移实现了图像中物体特征的转换。例如，将图像由夜间转换为白天后，图像的背景亮度变得更亮，车辆更容易被识别。

        CycleGAN在训练时只需要不同域的图像，而不需要昂贵的ground-truth配对图