物体检测SSD算法理论浅析

物体检测简述

物体检测主流的算法可以分为：

• 基于候选区域的目标检测（Two-Stage）：滑动窗口检测器、R-CNN、Fast R-CNN、RPN、F-RCN
• One-Stage（单次）目标检测：SSD、YOLO、YOLOv2、YOLOv3

Two-Stage的主流思想是首先通过启发式算法或者CNN网络产生一系列稀疏的候选框，然后对这些候选框进行分类或者回归。这类算法的优势是准确率高。

One-Stage的思路是均匀地在图片的不同位置进行密集抽样，抽样时可以采用不同尺度和长宽比，然后利用CNN提取特征后直接进行分类与回归，整个过程只需要一步，所以其优势是速度快，但是均匀的密集采样的一个重要缺点是训练比较困难，这主要是因为正样本与负样本（背景）极其不均衡。Yolo算法缺点是难以检测小目标，而且定位不准，但是这几点重要改进使得SSD在一定程度上克服这些缺点。

SSD算法的网络架构

SSD（Single-Shot MultiBox Detector），使用 VGG19 网络作为特征提取器（和 Faster R-CNN 中使用的 CNN 一样）的单次检测器。我们在该网络之后添加自定义卷积层（蓝色），并使用卷积核（绿色）执行预测。

然而，卷积层降低了空间维度和分辨率。因此上述模型仅可以检测较大的目标。为了解决该问题，我们从多个特征图上执行独立的目标检测。

这里需要说明的是：在SSD目标检测算法中大的特征图往往用来检测小的目标物体，而小的特征图用来检测大的物体。这是因为在原始图片经过卷积以后将原本大物体的特征凝聚起来，更容易被检测到，而在大的特征图里面，通过预设定的先验框比例可更容易抓取小物体的特征。

因此若从多个特征图上执行独立的目标检测就可以尽可能的抓取图片内的信息。

以下是特征图所示：

SSD算法的原理

SSD和Yolo一样都是采用一个CNN网络来进行检测，但是却采用了多尺度的特征图。SSD核心设计理念为如下三点：

• 采用多尺度特征图用于检测：如上
• 采用卷积进行检测：与Yolo最后采用全连接层不同，SSD直接采用卷积对不同的特征图来进行提取检测结果。对于形状为 $m\ast n\ast p$ 的特征图，只需要采用 $3\ast 3\ast p$ 这样比较小的卷积核得到检测值。
• 设置先验框:SSD借鉴了Faster R-CNN中anchor的理念，每个单元设置尺度或者长宽比不同的先验框，预测的边界框（bounding boxes）是以这些先验框为基准的，在一定程度上减少训练难度。

SSD对于每个单元的每个先验框，都输出一套独立的检测值。对应一个边界框，主要分为两个部分：

• 各个类别的置信度或者评分
• 边界框的位置坐标 $l$

边界框的中心坐标、宽和高按如下表示（模型训练中存在放缩）：$$l=(l^{cx},l^{cy},l^w,l^h)$$ 先验框的位置（模型训练中存在放缩）：$$d=(d^{cx},d^{cy},d^w,d^h)$$
先验框对应的边界框（现实坐标）：$$b=(b^{cx},b^{cy},b^w,b^h)$$,则边界框的预测值 $l$ 其实是 $b$ 相对于 $d$ 的转换值：$$l^{cx}=\frac{b^{cx}-d^{cx}}{d^w},l^{cy}=\frac{b^{cy}-d^{cy}}{d^h}$$ $$l^w=log\frac{b^w}{d^w},l^w=log\frac{b^h}{d^h}$$

如上的过程为边界框的编码（encode），预测时只需要反向这个过程，即进行解码（decode），从预测值 $l$ 中得到边界框的真实位置 $b$ 。本质上这个过程就是两个不同量纲坐标系下的坐标转化！
$$b^{cx}=d^w{l}^{cx},b^{cy}=d^y{l}^{cy}+d^{cy}$$ $$b^w=d^{w}exp(l^w),b^h=d^{h}exp(l^h)$$

总的来说，对于一个大小为 $m\ast n$ 的特征图共有 $mn$ 个单元，每个单元设置的先验框数目记为 $l$，那么每个单元共需要 $(c+4)k$ 个预测值，所有的单元共需要 $(c+4)kmn$ 个预测值，由于SSD采用卷积做检测，所以就需要 $(c+4)k$ 个卷积核完成这个特征图的检测过程。

先验框的设置，包括尺度（或者说大小）和长宽比两个方面。由于在CNN训练过程中我们能够得到多个特征图，因此根据不同的特征图，先验框的尺度应该成线性变化。
$$s_k=s_{min}+\frac{s_{max}-s_{min}}{m-1}(k-1),k\in [1,m]$$
其中$m$是指特征图个数，$s_k$表示先验框大小相对于图片的比例，$s_{min},s_{max}$分别表示比例的最大值和最小值。
对于长宽比，一般选取：$a_r\in 1,2,3,1/2,1/3$，对于特定的长宽比，按照如下公式计算先验框的宽度与高度（后面的$s_k$均指的是先验框实际尺度，而不是尺度比例）：$w_k^a=s_k\sqrt{a_r},h_k^a=s_k/\sqrt{a_r}$

每个单元的先验框的中心点分布在各个单元的中心
$$(\frac{i+0.5}{|f_k|},\frac{j+0.5}{|f_k|}),i,j\in [0,|f_k|)$$ 其中$|f_k|$为特征图的大小。

SSD训练过程

先验框匹配

$IOU$ ：$IOU$ 的全称为交并比（Intersection over Union），IoU 计算的是 “预测的边框” 和 “真实的边框” 的交集和并集的比值。

在训练过程中，首先要确定训练图片中的ground truth（真实目标）与哪个先验框来进行匹配，与之匹配的先验框所对应的边界框将负责预测它。

在Yolo中，ground truth的中心落在哪个单元格，该单元格中与其IOU最大的边界框负责预测它。但是在SSD中却完全不一样，SSD的先验框与ground truth的匹配原则主要有两点。

• 对于图片中每个ground truth，找到与其IOU最大的先验框，该先验框与其匹配。
• 对于剩余的未匹配先验框，若某个ground truth的 $IOU$ 大于某个阈值（一般是0.5），那么该先验框也与这个ground truth进行匹配。

第一原则可以保证每个ground truth一定与某个先验框匹配。通常称与ground truth匹配的先验框为正样本（其实应该是先验框对应的预测box，不过由于是一一对应的就这样称呼了），反之，若一个先验框没有与任何ground truth进行匹配，那么该先验框只能与背景匹配，就是负样本。一个图片中ground truth是非常少的， 而先验框却很多，如果仅按第一个原则匹配，很多先验框会是负样本，正负样本极其不平衡，所以需要第二个原则。

第二个原则意味着某个ground truth可能与多个先验框匹配，这是可以的。但是反过来却不可以，因为一个先验框只能匹配一个ground truth，如果多个ground truth与某个先验框$IOU$ 大于阈值，那么先验框只与$IOU$最大的那个ground truth进行匹配。

尽管一个ground truth可以与多个先验框匹配，但是ground truth相对先验框还是太少了，所以负样本相对正样本会很多。为了保证正负样本尽量平衡，SSD采用了hard negative mining，就是对负样本进行抽样，抽样时按照置信度误差（预测背景的置信度越小，误差越大）进行降序排列，选取误差的较大的top-k作为训练的负样本，以保证正负样本比例接近1:3。

损失函数（重点）

损失函数定义为位置误差（locatization loss， loc）与置信度误差（confidence loss, conf）的加权和：
$$L(x,c,l,g)=\frac{1}{N}(L_{conf}(x,c)+\alpha L_{loc}(x,l,g))$$
其中 $N$ 时先验框的正样本数量， $c$ 为类别置信度预测值， $l$ 为先验框的所对应边界框的位置预测值， $g$ 时ground truch的位置参数。$x_{ij}^p\in 1,0$作为一个指示参数，当其为1是表示第 $i$ 个先验框与第 $j$ 个ground truth匹配，并且groud truth的类别为 $p$ 。对于位置误差，采用Smooth L1 Loss，定义为：
L l o c ( x , l , g ) = ∑ i ∈ P o s N ∑ m ∈ { c x , c y , w , h } x i j k s m o o t h L 1 ( l i m − g ^ j m ) L_{loc}(x,l,g)=\sum^{N}_{i\in Pos}\sum_{m\in{\{cx,cy,w,h\}}}x^k_{ij}smooth_{L1}(l^m_i -\hat{g}_j^m) Lloc​(x,l,g)=i∈Pos∑N​m∈{cx,cy,w,h}∑​xijk​smoothL1​(lim​−g^​jm​) $${\hat{g}}_j^{cx}=(g_j^{cx}-d_i^{cx})/d_i^w,{\hat{g}}_j^{cy}=(g_j^{cy}-d_i^{cy})/d_i^h$$ $${\hat{g}}_j^w=log(\frac{g_j^w}{d_i^w}),{\hat{g}}_j^h=log(\frac{g_j^h}{d_i^h})$$ $$smoot{h}_{L1}(x)=\{\begin{array}{l}0.5x^2\text{ if |x|<1}\\ |x|-0.5\text{ otherwise}\end{array}$$

对于置信度为u查，采用Softmax Loss：
$$L_{conf}(x,c)=-\sum _{i\in Pos}^N{x}_{ij}^{p}log({\hat{c}}_i^p)-\sum _{i\in Neg}log({\hat{c}}_i^0),where{\hat{c}}_i^p=\frac{exp(c_i^p)}{{\sum }_{p}exp(c_i^p)}$$

数据扩增

采用数据扩增（Data Augmentation）可以提升SSD的性能，主要采用的技术有水平翻转（horizontal flip），随机裁剪加颜色扭曲（random crop & color distortion），随机采集块域（Randomly sample a patch）（获取小目标训练样本）。

预测过程

1. 对于每个预测框，首先根据类别置信度确定其类别（置信度最大者）与置信度值，并过滤掉属于背景的预测框。
2. 之后根据置信度阈值（如0.5）过滤掉阈值较低的预测框。
3. 对于留下的预测框进行解码，根据先验框得到其真实的位置参数（解码后一般还需要做clip，防止预测框位置超出图片）。
4. 解码之后，一般需要根据置信度进行降序排列，然后仅保留top-k（如400）个预测框。
5. 最后就是进行NMS算法，过滤掉那些重叠度较大的预测框。最后剩余的预测框就是检测结果了。

参考资料

1. 目标检测|SSD原理与实现
2. 目标检测算法综述