目标检测项目 经典算法改进之路详解（R-CNN SPP-Net Fast R-CNN Faster R-CNN YOLO SSD）

经典目标检测算法总结笔记

1 项目结构

数据采集层：数据收集标注

深度模型层：YOLO、SSD，模型导出，Serving部署

用户层：前端交互，（web后台）对接部署的模型

2 目标检测算法分类

two-stage: 两步走，先区域推荐，后目标分类

​ 代表：R-CNN、SPP-net、Fast R-CNN、Faster R-CNN

one-stage:端到端，一个网络一步到位，输入图片，输出类别和位置

​ 代表：YOLO、SSD

3 目标检测任务

3.1 目标分类

卷积激活池化——类别概率——交叉熵损失

3.2 目标定位

经过FC后，输出四个预测位置，对比真实标注——均方误差损失计算

3.3 位置坐标

x y w h ——xmin（左上角） ymin xmax ymax

3.4 Bounding box

​ ground-truth bounding box: 图片中真实标记的值

​ predicted bounding box：预测的时候标记的值

4 R-CNN

多目标检测问题不能以固定个数输出物体的位置值，因为不知道图中有几个物体

4.1 目标检测的overfeat模型

4.1.1滑动窗口

暴力方法：检测转化为分类，首先定义K个大小窗口，每个窗口滑动提取M个，总共K*M图片来分类，物体？背景？

计算消耗大

4.2 R-CNN方法

​ 在CVPR 2014中，20个类别的物体检测

4.2.1 候选区域方法

4.2.1.1 SS选择性搜索

相近像素合并，提取候选框，长宽不定

4.2.1.2 NMS非极大抑制

目的：筛选候选区域，目标是一个物体只保留一个最好的框，来抑制冗余的框

有N个ground truth 则经过概率筛选得到N个准确的候选框

迭代过程

1对2000个区域以0.5的概率筛选，得到5个

2剩余的候选框，对每个候选框找到自己对应的GT

3如下图，先找到概率最大的框B，算出来与B的IOU>0.5的框，删除掉，即删除DE

4 最终结果：每一个ground truth都有一个候选框

4.2.1.3 修正候选区域

A1A2…为候选框，G是目标GT

Ai和G做回归训练，得到四个参数Wx Wy Ww Wh

4.2.1.4 步骤（Alexnet为例）

​ 1对一张图片，找出默认的2000个候选区域（SS）

​ 2对2000个候选区域做大小变换，输入Alexnet中，得到特征向量2000*4096

​ 3经过20个类别的SVM，对2000的候选区域做判断，得到【2000,20】得分

​ 每一个特征向量进入SVM二分类得到2000个得分，一共20个二分类

​ 4对【2000,20】做NMS（极大抑制），修正得到结果好的框，计算IOU

​ 5修正候选框，做bbox回归微调， 使得候选框标注更准确

4.2.2 R-CNN输出

一张图片预测一个X候选框，由X*W=Y_locate得到真正的输出位置

4.2.3 效果

在VOC2007数据集上的map达到66%

4.2.5 缺点

​ 训练时间长

​ 模型多：微调网络+训练SVM+训练bbox

​ 处理速度慢

5 目标检测评估指标

5.1 IOU交并比

位置的考量

通常correct：类别正确且IOU>0.5

5.2 map平均精确率

分类准确率的考量

训练样本的标记，每个GT有最高的IOU anchor 标记为正样本，其余的anchor和任何GT的IOU>0.7为正样本，IOU<0.3为负样本

define:多个分类任务的AP的平均值

​ mAP=所有类别的AP之和/类别的总个数

​ AP：PR曲线下的面积（AUC）

step:

1、对N个类其中一个类别，比如猫，所有候选框输出是猫类别的概率进行排序，得到一个候选框列表

（R-CNN中就是SVM的输出分数）

2、根据候选框列表计算AUC

3、最终得到N个类别，N个AP相加/N

6 SPP-Net

6.1 R-CNN慢在何处

卷积运算耗时间

6.2 SPP-Net的几点改进

6.3 映射

（x’,y’)表示特征图上坐标点，原图(x,y)

左上角的点 x’=[x/S]+1

右下角的点 x’=[x/S]-1

S = 卷积层步长之乘积

6.4 SPP（spatial pyramid pooling）

​ 空间金字塔池化

​ 候选区域的特征图转换成固定大小的特征向量

​ spp layer 会把每一个候选区域分成 1×1 2×2 4×4三张子图

6.5 优缺点

优点：通过候选区域和feature map映射，配合SPP使用，达到CNN层共享计算

缺点：训练慢，特征需要写入磁盘（SVM）

​ 分阶段训练：选取候选区域→训练CNN→训练SVM→训练Bbox回归器→SPPNet反向传播效率低

7 Fast R-CNN

7.1 Fast R-CNN的几点改进

1 提出一个Rol pooling层

2 分类使用softmax计算：K个类别加上“背景”类

3 与SPPNet相同的地方：

​ 首先 b 整个图片输入到基础卷积网络，得到整张图的feature map

​ 将SS得到的结果Rol(region proposal)映射到feature map中

7.2 RoI pooling

为减少计算时间并且得出固定长度的向量，使用一种4×4的空间盒子（不再用金字塔型）

7.3 step

训练比较统一：废弃了 SVM 和 SPPNet ，采用Roi pooling + softmax

7.4 多任务损失 Multi-task loss

分类loss N+1（类别数+背景）个 softmax 输出————使用交叉熵损失

回归loss 4×N 个输出 regressor使用平均绝对误差MAE，即L1损失

fin-tuning训练

​ 在微调时，调整 CNN+Roi pooling + softmax

​ 调整 bbox regressor 回归当中的参数

7.5 总结

缺点：SS提取，没有实现端到端

8 Faster R-CNN

8.1 Faster R-CNN的改进

SS步骤融合到网络当中

区域生成网络（RPN）+ Fast R-CNN 即 RPN代替了SS

8.2 RPN实现

1 图片输入基础CNN （conv + relu + pooling），提取得到feature map

2 softmax 判断 anchors 属于 foreground or background

3 利用bbox修正anchors获得精确的候选区域

4 得到默认300个候选区域给ROI pooling

8.3 RPN原理

用n×n的大小窗口去扫描特征图（默认3*3)得到K个候选窗口

每个特征图中像素对应的9个窗口大小：三种尺度{128,256,512} 三种长宽比{1:1,1:2，2:1}

3*3=9不同大小的候选框

​ 窗口输出【N，256】→分类：判断是否是背景

​ 回归位置：N个候选框与自己对应目标值GT做回归，修正位置

​ 得到更好的候选区域给ROI pooling

8.4 Faster-RCNN训练

8.4.1 RPN 训练

样本准备：正负anchors样本比例 1:3

分类：二分类，softmax,logistic regression

候选框的调整：均方误差修正

8.4.2 Fast R-CNN 部分的训练

预测类别训练：softmax

预测位置训练：均方误差损失

8.4.3 优点

​ 提出RPN网络

​ 端到端网络模型

8.4.4 缺点

​ 训练参数过大

9 YOLO

You only look once

9.1 网络速度和精度比较

9.2 YOLO结构

GoogleNet + 4个卷积+2个全连接层 一个网络搞定一切

网络输出大小：7×7×30

9.3 流程

1 原始图片resize为448x448，图片输出成了一个7×7×30的结构

2 默认7×7个单元格

3 每个单元格预测两个bbox框

4 进行NMS筛选,筛选概率以及IoU

9.4 单元格

7 * 7=49个像素值，理解成49个单元格，每个单元格可以代表原图的一个方块。单元格需要做的两件事：

• 1.每个单元格负责预测一个物体类别，并且直接预测物体的概率值
• 2.每个单元格预测两个(默认)bbox位置，两个bbox置信度(confidence) 7 7 2=98个bbox
  • 30=(4+1+4+1+20), 4个坐标信息xmin ymin xmax ymax，1个置信度(confidence)代表一个bbox的结果， 20代表 20类的预测概率结果

9.5 网络输出筛选

一个网格会预测两个Bbox，在训练时我们只有一个Bbox专门负责（一个Object 一个Bbox）

​ 20个类别概率代表这个网格当中的一个bbox

• 通过置信度大小比较

每个bounding box都对应一个confidence score

• 如果grid cell里面没有object，confidence就是0

• 如果有，则confidence score等于预测的box和ground truth的IOU乘积

• 如何判断一个grid cell里面有没有包含object呢？

  如果一个object的ground truth的中心点坐标在一个grid cell里面，那么这个grid cell就被认为包含这个object，即这个object的预测就由该grid cell负责，每个grid cell都预测20个概率，表示在一个grid cell包含object的条件下，该object属于某一个类别的概率

• grid cell中的哪一个bounding box负责预测呢？

  就是如果有好几个bbox都包括了物体中心点，我们选择IOU最大的

YOLO框，概率值都直接由网络输出 7 x 7 x 30（认为给30个值赋了具体的定义）

9.6 训练

• 预测框对应的目标值标记
• 
• 三部分损失 bbox损失+confidence损失+classfication损失

9.7 缺点

• 准确率会打折扣
• YOLO对相互靠的很近的物体（挨在一起且中点都落在同一个格子上的情况），还有很小的群体检测效果不好，这是因为一个网格中只预测了两个框

10 SSD

Single Shot MultiBox Detector

• SSD结合了YOLO中的回归思想和Faster-RCNN中的Anchor机制
• 不同尺度的特征特征图上采用卷积核来预测一系列Default Bounding Boxes的类别、坐标偏移
• 不同尺度feature map所有特征点上使用PriorBox层(Detector&classifier)

10.1 Detector & classifier

• 1.PriorBox层：生成default boxes，默认候选框
  • 候选框生成结果之后
  • 做微调，利用4个variance做回归调整候选框
• 2.Conv3 x 3:生成localization， 4个位置偏移
• 3.Conv3 x 3:confidence，21个类别置信度(要区分出背景)

10.2 训练

• 训练

  • 1、样本标记：8732个候选框default boxes，得到正负样本
  • 正： 付=1：3
  • Softmax Loss(Faster R-CNN是log loss)，位置回归则是采用 Smooth L1 loss (与Faster R-CNN一样)

10.3 test流程

• 输入->输出->nms->输出