python目标检测入门基础知识_图像处理之目标检测的入门总结

1 背景介绍

目标检测，object detection，就是在给定的图片中精确找到物体所在位置，并标注出物体的类别。

目标检测要解决的问题有两个：物体在哪里，物体是什么的整个流程问题。

目标检测问题的难点：物体的尺寸变化范围很大；摆放物体的角度，姿态不定；而且可以出现在图片的任何地方；物体还可以是多个类别。

目前主要算法分两类：1) 候选区域/框 + 深度学习分类；2) 基于深度学习的回归方法

目标检测中有很大一部分工作是做图像分类。对于图像分类，不得不提的是2012年ImageNet大规模视觉识别挑战赛(ILSVRC)上，机器学习泰斗 Geoffrey Hinton 教授带领学生Krizhevsky使用卷积神经网络将ILSVRC分类任务的Top-5 error降低到了15.3%，而使用传统方法的第二名 top-5 error高达 26.2%。

此后，卷积神经网络CNN占据了图像分类任务的绝对统治地位。

2 候选区域+深度学习

通过提取候选区域，并对相应区域进行以深度学习方法为主的分类的方案，如：

2.1 R-CNN(Selective Search + CNN + SVM)

先找出图中目标可能出现的位置，即候选区域(Region Proposal)。

利用图像中的纹理、边缘、颜色等信息，可以保证在选取较少窗口(几千甚至几百)的情况下保持较高的召回率(Recall)。

有了候选区域，剩下的工作实际就是对候选区域进行图像分类的工作(特征提取+分类)。

2014年，RBG(Ross B. Girshick)使用 Region Proposal + CNN代替传统目标检测使用的滑动窗口+手工设计特征，设计R-CNN框架，使得目标检测取得巨大突破，并开启了基于深度学习目标检测的热潮。

R-CNN的简要步骤如下

输入测试图像

利用选择性搜索Selective Search算法在图像中从下到上提取2000个左右的可能包含物体的候选区域Region Proposal

因为取出的区域大小各自不同，所以需要将每个Region Proposal缩放(warp)成统一的227x227的大小并输入到CNN，将CNN的fc7层的输出作为特征

将每个Region Proposal提取到的CNN特征输入到SVM进行分类

R-CNN 存在一个较大的问题：R-CNN虽然不再像传统方法那样穷举，但R-CNN流程的第一步中对原始图片通过Selective Search提取的候选框region proposal多达2000个左右，而这2000个候选框每个框都需要进行CNN提特征+SVM分类，计算量很大，导致R-CNN检测速度很慢，一张图都需要47s。

2.2 SPP-net(ROI Pooling)

SPP：Spatial Pyramid Pooling(空间金字塔池化)

SPP-Net是出自2015年发表在IEEE上的论文-《Spatial Pyramid Pooling in Deep ConvolutionalNetworks for Visual Recognition》

2.3 Fast R-CNN(Selective Search + CNN + ROI)

Fast R-CNN 就是在R-CNN的基础上采纳了SPP Net方法，对R-CNN作了改进，使得性能进一步提高。

与R-CNN框架图对比，可以发现主要有两处不同：一是最后一个卷积层后加了一个ROI pooling layer，二是损失函数使用了多任务损失函数(multi-task loss)，将边框回归 Bounding Box Regression 直接加入到CNN网络中训练。

Fast-RCNN 很重要的一个贡献是成功的让人们看到了 Region Proposal + CNN 这一框架实时检测的希望，原来多类检测真的可以在保证准确率的同时提升处理速度，也为后来的 Faster R-CNN 做下了铺垫。

2.4 Faster R-CNN(RPN + CNN + ROI)https://arxiv.org/pdf/1506.01497.pdf

Fast R-CNN存在性能瓶颈：选择性搜索，找出所有的候选框，也非常耗时。能不能找出一个更加高效的方法来求出这些候选框呢？

解决方法：加入一个提取边缘的神经网络，也就说找到候选框的工作也交给神经网络来做。

以上四种算法都基于region proposal 的R-CNN系列，是目标检测技术领域主要的一个分支。

3 基于深度学习的回归方法

3.1 YOLO1

YOLO，全称：You Only Look Once

以上介绍的 R-CNN 系列很难满足实时性的要求。YOLO 一类的方法慢慢显现出其重要性，这类方法使用回归的思想，利用整张图作为网络的输入，直接在图像的多个位置上回归出这个位置的目标边框，以及目标所属的类别。

YOLO将目标检测任务转换成一个回归问题，大大加快了检测的速度，使得 YOLO 可以每秒处理45 张图像。而且由于每个网络预测目标窗口时使用的是全图信息，使得false positive比例大幅降低(充分的上下文信息)。

但是YOLO也存在问题：没有了Region Proposal机制，只使用7*7的网格回归会使得目标不能非常精准的定位，这也导致了YOLO的检测精度并不是很高。

3.2 YOLO2https://arxiv.org/pdf/1612.08242.pdf