（SSD）Single Shot MultiBox Detector论文阅读笔记

SSD: Single Shot MultiBox Detector论文阅读笔记2016

Abstract

我们提出了一种使用单个深度神经网络进行目标检测的方法，叫做SSD，我们的方法在特征图的每个位置，将bbox离散化成一组不同长宽比和尺度的默认box。在测试阶段，网络对每个默认box中的每个目标类别是否存在生成一个分数，然后对box进行调整来更好地匹配目标形状。另外，网络组合了来自多个不同分辨率的特征图的预测来应对不同尺寸的目标。SSD相对简单，因为它消除了生成proposal以及之后的像素或特征的resampling过程，将所有的计算整合到一个网络中，这使得SSD很容易训练，且可以直接被应用。

对于如数为300 * 300的图像，在VOC2007 test上，SSD可以达到74.3% mAP，59FPS；对于512 * 512输入，取得76.9% mAP，超过了Faster R-CNN。相对于其他one-stage的方法，SSD有着更高的准确率。

1. Introduction

目前SOTA目标检测方法都是按照以下流程：**提出假设的bbox，对于每个box resample像素或特征，然后使用一个高质量的分类器。**这种流程尽管准确，但是计算量很大，对于实时检测应用来说太慢。最快的Faster R-CNN也只能达到7FPS，目前也有很多尝试来加速某个过程，但是迄今为止，极大提升速度往往牺牲了很大的准确率。

本文提出了第一个基于深度网络，但是没有resample像素或特征图来提出bbox假设，并且可以取得与其他方法相当的准确率的目标检测方法。我们的方法在保持准确率的同时，大幅提升了速度，这主要是得益于我们取消了proposal生成以及resample的流程。我们不是第一个这样做的，但是我们的一些方法使得准确率保持很高的水平。**我们的方法包括使用一个小的卷积核来预测目标类别和bbox位置的offsets，对不同的长宽比目标的检测使用分离的predictors(filters)，为了多尺度检测，将这些filters应用在多个不同分辨率的特征图上。**这种在多个尺度的预测极大提升了准确率。我们将我们的贡献总结如下：

• 我们提出了SSD，一个single-shot的多类别目标检测方法，比SOTA的one-stage方法（YOLO）都快，且准确率可以达到two-stages方法的水平。
• SSD的核心是使用小的卷积核应用到特征图上，来对一系列固定的默认bbox来预测类别分数和box offsets。
• 为了取得高的准确率，对于不同的长宽比，我们使用不同的卷积核；为了不同尺度检测，我们在不同分辨率的特征图上进行预测。
• 这样设计使得训练更容易，并且即使在低分辨率的输入图像上也取得了高的准确率，提升了speed和accuracy的trade-off。

2. The Single Shot Detector (SSD)

2.1 Model

SSD方法基于一个卷积网络，生成一系列固定尺寸的bbox，然后对这些box中的目标类别是否存在进行评分，之后使用NMS来产生最后的检测结果。前面的网络层基于标准用来分类的网络结构（分类层之前），我们称为base基础网络，我们增加了后面的结构来得到好的效果。

Multi-scale feature maps for detection。

我们在基础网络之后增加了卷积特征层，这些层在尺寸上逐渐递减，使得网络可以对不同尺度进行检测。每个特征层的卷积模型都不相同。

Convolutional predictors for detection。

每个增加的特征层（或base网络中已有的特征层），使用一组卷积核来生成固定的检测预测结果。如图2中的最后几层所示。对于尺寸为m * n，p通道的特征层来说，用于预测的卷积核为3 * 3 * p的小卷积核，生成bbox对于每一类目标的分数或相对于默认bbox坐标的offsets。对于m * n的每个位置都进行预测，bbox的offset输出值是相对于默认bbox的偏差。（YOLO使用的是一个中间的fc层而不是卷积层来进行这步操作。）

Default boxes and aspect ratios。

对于每个特征层的每个cell，我们设定了一系列的默认bbox。默认的bbox按照卷积的方式平铺在特征图上，因此每个box的位置相对于它对应的cell都是固定的。在每个卷积图cell上，我们预测相对于这个cell对应的box的offset以及box中每类目标存在的分数。

详细来说，**对于每个特征图位置，生成k个box，每个box我们计算c类别分数，以及4个offsets。结果就是(c+4)k，对于m * n的特征图，输出结果为(c+4)kmn。**我们的默认box与Faster R-CNN中的相似，见图1，但是我们在几个不同分辨率的特征图上使用。

2.2 Training

训练SSD和其他使用region proposal的目标检测方法最关键的不同在于，**ground truth信息需要分配到fixed set of detector outputs中的某个特定输出。**YOLO个Faster R-CNN的region proposal阶段也需要这样。一旦分配完成，loss函数和反向传播就可以end-to-end，训练过程包括了选择默认box和尺度，以及hard negative mining和数据增强。

Matchin