SSD

最新推荐文章于 2023-02-08 16:03:29 发布

hb_ma

最新推荐文章于 2023-02-08 16:03:29 发布

阅读量235

点赞数

分类专栏：图像处理

本文链接：https://blog.csdn.net/qq_20481015/article/details/86564467

版权

图像处理专栏收录该内容

38 篇文章 0 订阅

订阅专栏

一.Introduction

一句话概括：SSD就是关于类别的多尺度RPN网络

基本思路：

基础网络后接多层feature map
多层feature map分别对应不同尺度的固定anchor
回归所有anchor对应的class和bounding box

二.model

SSD

三，损失

输入：300x300
经过VGG-16（只到conv4_3这一层）
经过几层卷积，得到多层尺寸逐渐减小的feature map
每层feature map分别做3x3卷积，每个feature map cell(又称slide window)对应k个类别和4个bounding box offset，同时对应原图中6（或4）个anchor(又称default box)
- 38x38, 最后3x3, 1x1三个feature map的每个feature map cell只对应4个anchor，分别为宽高比: 1:1两种，1:2, 2:1两种，因此总共有 38 * 38 * 4 + 19 * 19 * 6 + 10 * 10 * 6 + 5 * 5 * 6 + 3 * 3 * 4 + 1 * 1 * 4 = 8732 个anchor
- 其他feature map的feature map cell对应6个anchor，分别为宽高比: 1:1两种，1:2, 2:1两种，1:3， 3:1两种
- 每层的feature map cell对应的anchor计算方法如下
- 位置：假设当前feature map cell是位于第i行，第j列，则anchor的中心为 ((i+0.5)/|fk|,(j+0.5)/|fk|), fk是第k层feature map的size（比如38）
- 缩放因子:
  
  其中smin为0.2，smax为0.9，m为添加的feature map的层数，缩放因子就是为不同feature map选择不同的大小的anchor，要求小的feature map对应的anchor尽量大，因为越小的feature map，其feature map cell的感受野就越大
- anchor宽高：
  
  其中，ar∈{1,2,3,1/2,1/3}，可以理解为在缩放因子选择好anchor尺寸后，用ar来控制anchor形状，从而得到多尺度的各种anchor，当ar=1时，增加一种 sk=sqrt(sk-1sk+1)，于是每个feature map cell通常对应6种anchor。
网络的训练目标就是，回归各个anchor对应的类别和位置

SSD损失函数分为两个部分：对应搜索框的位置loss（loc）和类别置信度loss（conf）。（搜索框指网络生成的网格）

定义 $x_{ij}^{p}=\left\{ 1,0 \right\}$ 为第i个搜索框和对应的第j个ground truth box，相应的类别为p。目标函数定义为：

$L(x,c,l,g)=\frac{1}{N}(L_{conf}(x,c)+\alpha L_{loc}(x,l,g) )$

其中，N为匹配的搜索框。如果N=0，loss为零。 $L_{conf}$ 为预测框和ground truth box 的Smooth L1 loss， $\alpha$ 值通过cross validation设置为1。

$L_{loc }$ 定义如下：

其中，为预测框，为ground truth。 (cx,cy) 为补偿（regress to offsets）后的默认框（）的中心， (w,h) 为默认框的宽和高。

$L_{conf}$ 定义为多累别softmax loss，公式如下：

更为详细的字母说明如下：

i指代搜索框序号，j指代真实框序号，p指代类别序号，p=0表示背景，

$x_{ij}^{p}=\left\{ 1,0 \right\}$ 中取1表示此时第i个搜索框和第j个类别框IOU大于阈值，此时真实框中对象类别为p。

cip表示第i个搜索框对应类别p的预测概率。

四.训练

样本

正样本
选择与bounding box jaccard overlap（两张图的交集/并集）大于0.5的anchor作为正样本(Jaccard index 就是IOU)
样本比例
Hard negative mining：由于负样本很多，需要去掉一部分负样本，先整图经过网络，根据每个anchor的最高类置信度进行排序，选择置信度靠前的样本，这样筛选出来的负样本也会更难识别，并且最终正负样本比例大概是1:3