深度学习车辆检测实现自动驾驶

在本文中，我将通过一个车辆检测示例演示如何使用深度学习创建目标检测器。相同的步骤可用于创建任何目标探测器。

我经常有朋友和同事问我自动驾驶系统如何感知周围的环境并做出“人类”的决定。

目标检测是指对图像和视频中的目标进行定位和分类。

下图显示了一个三类车辆检测器的输出，该检测器对每种类型的车辆进行定位和分类。

由车辆检测器显示的输出，用于定位和分类不同类型的车辆

在创建车辆检测仪之前，我需要一组带标签的训练数据，这是一组带有目标位置和标签的图像。更具体地说，需要有人对每个图像或视频帧进行筛选，并标记所有感兴趣对象的位置。这个过程称为“真值注释”。

真值注释通常是创建目标检测器最耗时的部分。下图左侧显示原始训练图像，右侧显示标有真值的同一图像。

原始输入图像（左）和地面真值（右）上的输入图像

用于标记视频和图像数据的地面真值贴标器屏幕截图

自动化注释过程的一个方法是使用跟踪算法。

我使用的Kanadelucas-Tomasi算法（KLT）是第一个在实际应用中使用的计算机视觉算法。KLT算法将目标表示为一组特征点，然后逐帧跟踪其运动位置。我们可以在第一帧中手动标记一个或多个目标，然后使用跟踪算法标记其余视频。

地面真值贴标机还允许用户导入自己的自动贴标算法。

我看到的最常见的方法是，用户导入自己的现有检测器，然后标记新数据，这有助于他们创建更精确的检测器。下图说明了使用地面真值贴标机标记一系列图像或视频的工作流程。

利用matlab实现真值自动标注的过程。

注释数据最终以表格格式存储，其中列出了训练集视频中每个点的车辆位置。在标记了真值之后，我可以开始训练车辆检测器。

在这种情况下，我估计真值标记过程可以加速多达119倍。我们以每秒30帧的速度捕获训练视频数据，并每隔4秒标记一次目标。这意味着我们将节省中间119帧的标记时间。当然，这是最好的情况，因为有时我们必须花时间纠正自动标签的输出。

我们的车辆检测器使用Fasterr CNN网络。首先，定义一个网络体系结构，如下面的matlab代码片段所示。更快的R-CNN算法主要分析图像的面积，因此输入层小于输入图像的预期大小。在这个例子中，我选择了一个32x32像素的窗口。输入大小需要根据执行时间和探测器需要解决的空间细节进行测量。

%Createimageinputlayer.inputLayer = imageInputLayer([32323]);

中间层是网络的核心构建块，具有重复的卷积层、relu层和池层。

在这种情况下，我只使用一些图层。为了提高准确性，或者如果您想在检测器中加入更多的类，您可以重复这些使用层来创建一个更深的网络。

% Define the convolutional layer parameters.​filterSize = [3 3];​numFilters = 32;​% Create the middle layers.​middleLayers = [​convolution2dLayer(filterSize, numFilters, 'Padding', 1)​reluLayer()​convolution2dLayer(filterSize, numFilters, 'Padding', 1)​reluLayer()​maxPooling2dLayer(3, 'Stride',2)​];

CNN的最后一层通常是一组完全连接的层和一个软最大损耗层。

在本例中，我在完全连接的层之间添加了一个relu非线性层，以提高检测器的性能，因为我们的检测器的训练集没有我想要的那么大。

finalLayers = [​% Add a fully connected layerwith64outputneurons. Theoutputsize​%ofthis layer will be anarraywithalengthof64.​fullyConnectedLayer(64)​%Adda ReLU non-linearity.​reluLayer()​%Addthelastfully connected layer.Atthis point, the network must​% produce outputs that can be usedtomeasure whether theinputimage​% belongstooneoftheobjectclassesorbackground. This measurement​%ismadeusingthe subsequent loss layers.​fullyConnectedLayer(width(vehicleDataset))​%Addthe softmax loss layerandclassification layer.​softmaxLayer()​classificationLayer()​];​​​layers = [​inputLayer​middleLayers​finalLayers​]

为了训练目标探测器，我将层网络结构输入trainfasterrcnObjectDetector函数。如果安装了GPU，默认情况下算法将使用GPU。如果不想使用GPU或想使用多个GPU，可以在培训选项中调整ExecutionEnvironment参数。

detector= trainFasterRCNNObjectDetector(trainingData, layers, options, ...​'NegativeOverlapRange', [00.3], ...​'PositiveOverlapRange', [0.61], ...​'BoxPyramidScale',1.2);

完成训练后，您可以在测试图像上进行测试，看看探测器是否正常工作。使用下面的代码在单个图像上测试探测器。

%Read atestimage.​ I = imread('highway.png');​ % Run the detector.​ [bboxes, scores] = detect(detector, I);​ %Annotate detectionsinthe image.​ I = insertObjectAnnotation(I, 'rectangle', bboxes, scores);​ figure​ imshow(I)

快速R-CNN车辆检测器检测到的边界框和分数

如果您确定您的检测器工作正常，我强烈建议您使用统计指标（例如，平均准确度）对更大的一组验证图像集进行测试。平均准确度提供的单一准确度测量了探测器正确分类（准确度）的能力和探测所有相关物体的能力。

关注微信公众号：“图像算法”或者微信搜索imalg_cn 可获取更多资源