综述笔记——A Review of Vehicle Detection Techniques forIntelligent Vehicles

介绍：

本文全面回顾了车辆检测方法及其在智能车辆系统中的应用，分析了车辆检测的发展，重点介绍了传感器类型和算法分类。首先，本文总结了300多项研究成果，包括各种车辆检测传感器（机器视觉、毫米波雷达、激光雷达和多传感器融合），并详细比较了经典算法和最新算法的性能。然后，根据不同传感器和算法的性能和适用性，分析了它们在车辆检测中的应用场景。此外，我们还系统地总结了恶劣天气下的车辆检测方法。最后，根据智能车辆传感器和算法的发展，分析了存在的挑战和未来的研究趋势。

一、机器视觉

基于机器视觉的车辆检测方法分为三大类，包括基于先验知识、机器学习、以及深度学习。

1.基于先验知识的检测通常包括两个阶段，HG(hypothese generation)和HV(hypothesis verification)，先通过先验知识生成ROI,再验证里面是否有车辆。先验知识包括：车底部阴影、边缘特征、对称性、颜色。

2.特征提取和分类器训练是基于机器学习的车辆检测方法的核心。特征提取有

·Many vehicle feature extraction methods draw lessons from face recognition and pedestrian detection, such as Haar/Haar-like features, HOG features, and DPM features,which have achieved good results in vehicle detection. In addi-tion to the above vehicle detection features, other featureextraction algorithms are also widely used in vehicle detec-tion, such as wavelet, PCA, SIFT, SURF, and LBP features.Sometimes, the combination of these features can generate more abundant vehicle detection features [17]–[19].

·The commonly used classifiers for machine learning include K-nearest neighbors (KNN), support vector machine (SVM), decision tree, and AdaBoost.

3.基于深度学习

对于这一类方法，一阶段精度高但实时性不好，两阶段反之。为了提高车辆检测的准确性和实时性，未来的核心工作是如何设计一个高效、轻量级的特征提取网络。一方面，它能够准确细致地提取车辆特征；另一方面，它具有轻量级的参数和紧凑的网络结构。近年来，许多学者在这方面进行了许多积极的探索，设计了许多优秀的网络，如MobileNet[57]、[58]、ShuffleNetV1-V2[59]、[60]和EfficientNet[61]。 

[57] A. G. Howard et al., “MobileNets: Efficient convolutional neuralnetworks for mobile vision applications,” 2017, arXiv:1704.04861.

[58] M. Sandler, A. Howard, M. Zhu, A. Zhmoginov, and L.-C. Chen,“MobileNetV2: Inverted residuals and linear bottlenecks,” 2018,arXiv:1801.04381.

[59] X. Zhang, X. Zhou, M. Lin, and J. Sun,“ShuffleNet: An extremelyefficient convolutional neural network for mobile devices,” inProc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2018,pp. 6848–6856.

[60] N. Ma, X. Zhang, H.-T. Zheng, and J. Sun,“ShuffleNet V2: Practicalguidelines for efficient CNN architecture design,” in Proc. Eur. Conf.Comput. Vis. (ECCV), 2018, pp. 116–131.

[61] M. Tan and Q. V. Le,“EfficientNet: Rethinking model scaling forconvolutional neural networks,” 2019, arXiv:1905.11946.

        对于语义分割，根据训练数据的不同标记方法，语义分割可分为完全监督和弱监督算法。弱监督算法可以减少对人工标注的依赖，但分割效果不如全监督算法。因此，大多数用于车辆检测的语义分割模型都基于全监督算法。 

        基于语义分割的车辆检测方法通常需要高性能的硬件。这种模型的推理速度比其他车辆检测算法的推理速度慢。因此，未来研究的重点是设计一种轻量级、高效的语义分割模型，该模型可以广泛部署在低成本的嵌入式设备中【76】。近年来，轻量级语义切分的研究得到了广泛的研究，DFANet[77]和LEDNet[79]是车辆语义切分的优秀代表。

[76] Y. Li, H. Qi, J. Dai, X. Ji, and Y. Wei,“Fully convolutional instance-aware semantic segmentation,” in Proc. IEEE Conf. Comput. Vis.Pattern Recognit. (CVPR), Jul. 2017, pp. 2359–2367.

[77] H. Li, P. Xiong, H. Fan, and J. Sun,“DFANet: Deep feature aggregationfor real-time semantic segmentation,” 2019, arXiv:1904.02216.

[78] H. Ren et al.,“Improving OCT B-scan of interest inference perfor-mance using TensorRT based neural network optimization,” Investiga-tive Ophthalmol. Vis. Sci., vol. 61, no. 7, p. 1635, 2020.

[79] Y. Wang et al.,“Lednet: A lightweight encoder-decoder network forreal-time semantic segmentation,” in Proc. IEEE Int. Conf. ImageProcess. (ICIP), Sep. 2019, pp. 1860–1864.

 二、基于毫米波雷达

        雷达检测目标主要包括三类：车辆目标、静止目标和假目标。雷达本身无法区分障碍物。为了提取车辆目标，必须消除虚假目标和静止目标。

        假目标通常是指车辆碰撞或电磁干扰导致的无效目标。这种类型的目标通常持续时间很短，可以通过生命周期算法【80】、Kalmanfilter【81】、【82】和多目标跟踪算法【83】消除。

        静态目标主要包括树木、道路护栏和路灯。相关研究表明，静态目标的雷达散射截（RCS）和信噪比（SNR）与车辆的差异很大[84]。通常，由于横截面积和材料的原因，静态目标的RCS和SNR相对较小【85】。根据雷达参数，可以通过合理设置RCS和SNR阈值来消除静止目标【86】。

        此外，机器学习方法还可以用于雷达目标分类。通过数据标注将目标识别转化为有监督学习。用于雷达目标识别的常见机器学习模型包括人工神经网络（ANN）[87]、支持向量机（SVM）[88]和深度信念网络（DBN）[86]。目标级雷达的检测信息包含了车辆的位置和运动状态，对于智能车辆的行为决策和运动规划是必不可少的。然而，它只能用粒子模型来描述车辆目标，没有轮廓和尺寸信息，这使得雷达无法描述车辆的姿态和类型。此外，当车辆目标静止或低速行驶时，雷达的检测精度并不理想，尤其是由于车辆横向距离的测量误差较大[89]。因此，目标级雷达适合与其他传感器一起进行车辆检测，可以丰富车辆感知信息。

 三、基于毫米波雷达摄像头融合

车辆检测的融合包括两种：target—level和two stage。目标级方法从雷达和图像中检测车辆目标，然后使用集中式融合或分布式融合生成有效的车辆目标。该融合方法可以消除雷达的误检，提高车辆检测的可信度。 

     1） 集中式融合是一个逐步融合和跟踪的过程。摄像头和雷达通过距离、角度和距离率等预处理来实现车辆目标。此外，摄像头还具有分类ID数据。然后，将来自两个传感器的检测数据传输到与航迹相关的融合中心。从同一目标考虑与同一轨迹相关的检测。这些检测用于使用卡尔曼滤波器更新轨迹，然后可以获得目标状态。更新后的轨迹将存储起来，以用于下一帧的数据关联。
     2） 与集中式融合类似，分布式融合首先实现车辆检测数据，但每个传感器使用多目标跟踪算法生成轨迹。然后，实现航迹关联，以确定两条航迹是否代表相同的目标。航迹融合结果用于估计目标状态。基于雷达和摄像机目标融合的车辆检测方法有两个核心技术：车辆检测和目标关联。

        雷达和摄像头都可以提供车辆检测目标。对不同传感器的检测目标进行匹配和关联是提高车辆检测精度的关键。毫米波雷达和机器视觉的车辆目标融合方法有很多种，如最邻近算法，ukf，ekf。

        在最新的研究中，许多学者将深度学习应用于目标级数据融合[190]。例如，Dong等人[191]提出了一种端到端的目标融合算法。首先，将雷达检测目标和图像投影到二维平面上，形成伪图像。然后，将伪图像输入神经网络，学习高层语义表示并生成目标融合向量。这种融合方法是可靠的，但对这种糟糕情况的解释尚不清楚。

  第二种方法包括两个阶段：HG和HV。首先，利用雷达检测信息生成HG阶段的车辆ROI。其次，在HV阶段通过图像处理验证ROI。该两步方法可以减少图像处理量，提高车辆检测的实时性，但两个阶段的累积误差容易导致车辆检测缺失。

        为了提高车辆检测的效率和准确性，将基于雷达和摄像机融合的车辆检测分为两个步骤：HG和HV。雷达检测信息为摄像头提供车辆ROI，基于图像的车辆检测方法（外观特征法、机器学习和深度学习）用于从ROI中检测车辆目标，如补充材料的图S 15所示。雷达和摄像机之间的频率和坐标系相差很大，因此信息统一是车辆检测的前提。雷达检测目标可以通过信号处理和投影变换为摄像机图像提供车辆ROI。然而，并非所有ROI都包含车辆目标；因此，有必要验证ROI是否包含车辆目标。高压阶段有许多基于图像的车辆检测方法，与第二节中描述的方法类似。这些方法可以归纳为三类：外观特征、机器学习和深度学习。例如，Wang et al.（192）、Lu et al.（193）和Wang et al.（194）基于车辆外观特征（如底部阴影、边缘特征、尾灯和对称特征）从ROI图像中检测车辆目标。基于机器学习的车辆检测方法使用不同的特征提取车辆特征，主要包括类Haar特征【195】–【197】、DPM特征【198】和HOG特征【199】，然后使用监督学习训练分类器（SVM、Adaboost）进行车辆检测。最常见的基于深度学习的车辆检测模型是YOLO和SSD模型【179】–【181】。 

[179] S. Chadwick, W. Maddern, and P. Newman,“Distant vehicle detectionusing radar and vision,” 2019, arXiv:1901.10951.

[180] J. Kim, Z. Emersic, and D. S. Han,“Vehicle path prediction based onradar and vision sensor fusion for safe lane changing,” in Proc. Int.Conf. Artif. Intell. Inf. Commun. (ICAIIC), Feb. 2019, pp. 267–271.

[181] J.-G. Wang, S. J. Chen, L.-B. Zhou, K.-W. Wan, and W.-Y. Yau,“Vehicle detection and width estimation in rain by fusing radar andvision,” in Proc. 15th Int. Conf. Control, Autom., Robot. Vis. (ICARCV),Nov. 2018, pp. 1063–1068.

四、恶劣天气的融合

1）红外光相机和图像相机

2）毫米波雷达与图像具有极好的互补性。雷达与图像的融合可以有效提高恶劣环境下车辆检测的准确性。有三种常见的雷达和图像融合方案，如补充材料的图S 20所示。

      两步融合方法将车辆检测分为HG和HV。雷达为图像提供车辆的感兴趣区域，基于图像的方法从感兴趣区域检测车辆目标，可以提高检测效率，减少环境干扰。Chen等人[274]提出了一种基于雷达和图像融合的夜间车辆检测方法。首先，将雷达检测目标投影到图像上，获得车辆的ROI。然后，提取尾灯特征，从ROI中检测车辆，有效避免了夜间其他光源的干扰。Wang等人【275】将雷达和红外摄像头结合起来，用于在恶劣天气条件下检测车辆。毫米波雷达为红外图像提供ROI，并使用级联特征（Hog和LBP）和SVM训练车辆检测分类器。特征级融合主要应用于成像雷达和机器视觉。 

五、讨论

        首先，多传感器信息融合可以有效提高恶劣环境下车辆检测的准确性和鲁棒性。其次，信息处理算法可用于在复杂交通环境中去除噪声或重建传感数据。例如，暗通道理论用于消除图像中的雾【284】、【285】。 可以使用GAN模型解决图像中雨滴遮挡的问题【230】。然而，额外的计算可能会降低车辆检测的实时性能。

[284] K. He, J. Sun, and X. Tang,“Single image haze removal using darkchannel prior,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 33, no. 12,pp. 2341–2353, Dec. 2011.
[285] Q. Zhu, J. Mai, and L. Shao,“A fast single image haze removalalgorithm using color attenuation prior,” IEEE Trans. Image Process.,vol. 24, no. 11, pp. 3522–3533, Nov. 2015.

[230] R. Qian, R. T. Tan, W. Yang, J. Su, and J. Liu,“Attentive generativeadversarial network for raindrop removal from a single image,” inProc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2018,pp. 2482–2491.

        与车辆检测相关的方法包括多个任务，如场景分割、目标检测、分类和跟踪【287】。所有这些结果通常由每个模块单独计算20，然后汇总到智能系统中。然而，结合这些车辆检测任务的DL架构很少【288】。因此，它们之间的固有信息没有得到充分利用，而被用来以较少的计算概括更好的模型。此外，大多数车辆检测方法都适用于一个或两个特定条件，并且缺乏一种通用的方法来自动检测不同环境下的车辆【289】。在未来的研究中，应将多种车辆检测算法集成到一个统一的检测框架中，能够自动适应不同的驾驶场景和天气，提高车辆检测的准确性和鲁棒性。

        现有最先进的基于深度学习的车辆检测模型通常是在监督模式下使用带边界框或分割掩码的标记数据构建的[293]。然而，完全监督学习具有严重的局限性，尤其是在包围盒标注的收集是劳动密集型的并且图像数量很大的情况下。此外，完全监督的模型泛化能力对看不见或未训练的对象不具有鲁棒性【294】。为了提高模型的泛化能力，解决数据缺失问题，需要发展弱监督或无监督学习。

[289] Z. Yang and L. S. C. Pun-Cheng,“Vehicle detection in intelligenttransportation systems and its applications under varying environments:A review,” Image Vis. Comput., vol. 69, pp. 143–154, Jan. 2018.