物体检测经典框架

两阶经典检测器：Faster RCNN

        RCNN全称为Regions with CNN Features,是将深度学习应用于物体检测的经典之作，并凭借卷积网络出色的特征提取能力，大幅度提升了物体检测的效果。而随后基于RCNN的Fast RCNN及Faster RCNN将物体检测问题进一步优化，在实现方式、速度、精度上均有较大幅度提升。

        物体检测领域出现的新成果很大一部分也是基于RCNN系列的思想，尤其是Faster RCNN,并且在解决小物体、拥挤等较难任务时，RCNN系列仍然具有较强的优势。因此，想要学习物体检测，RCNN系列是第一个需要全面掌握的算法。

        1. RCNN系列发展历程

        在2014年RCNN算法问世之后，经历了众多版本的改进，但具有里程碑意义的当属Fast RCNN与Faster RCNN算法。

        1.1 开山之作：RCNN

        RCNN算法由Ross Girshick等人发表在CVPR2014，将卷积神经网络应用于特征提取，并借助于CNN良好的特征提取能力，一举将PASCAL VOC数据集的检测率从35.1%提升到了53.7%。

        RCNN算法流程图如图4.1所示，RCNN仍然延续传统物体检测的思想，将物体检测当做分类问题处理，即先提取一系列的候选区域，然后对候选区域进行分类。

        具体过程主要包含4步：

        1)候选区域生成。采用Region Proposa提取候选区域，例如Selective search算法，现将图像分割成小区域，然后合并包含同一物体可能性高的区域，并输出，在这一步需要提取约2000个候选区域。在提取完成后，还需要将每一个区域进行归一化处理，得到固定大小的图像。

        2）CNN特征提取。将上述固定大小的图像，利用CNN网络得到固定维度的特征输出。

        3）SVM分类器。使用线性二分类器对输出的特征进行分类，得到是否属于此类的结果，并采用难样本挖掘来平衡政府样本的不平衡。

        4）位置精修。通过一个回归器，对特征进行边界回归以得到更为精确的目标区域。

 RCNN虽然显著提升了物体检测的效果，但仍存在3个较大的问题。首先，RCNN需要多步训练，步骤繁琐且训练速度较慢；其次，由于涉及分类中的全连接网络，因此输入尺寸是固定的，造成了精度的降低；最后，候选区域需要提前提取并保存，占用空间较大。

1.2 Fast RCNN

        在RCNN之后，SPPNet算法解决了重复卷积计算与固定输出尺度的两个问题，但仍然存在RCNN的其他弊端。在2015年，Ross Girshick独自提出了更快、更强的Fast RCNN算法，不仅训练的步骤可以实现端到端，而且算法基于VGG16网络，在训练速度上比RCNN快了近9倍，在测试速度上213倍，并在VOC 2012数据集上达到了68.4%的检测率。

        Fast RCNN算法框架图如图4.2所示，相比起RCNN，主要有3点改进：

        共享卷积：将整幅图像送到卷积网络中进行区域生成，而不是像RCNN那样一个个的候选区域，虽然仍采用Selective Search方法，但共享卷积的优点使得计算量大大减少。

        Roi Pooling:利用特征池化的方法进行特征尺度变换，这种方法可以有任意大小图片的输入，使得训练过程更加灵活、准确。

        多任务损失：将分类与回归网络放到一起训练，并且为了避免SVM分类器带来的单独训练与速度慢的缺点，使用了Softmax函数进行分类。

        

         Fast RCNN算法虽然取得了显著的成果，但在该算法中，Selective Search需要消耗2-3秒，而特征提取仅需要0.2秒，因此这种区域生成方法限制了Fast RCNN算法发挥空间，这也为后来的Faster RCNN算法提供了改进方向。

1.3 走向实时：Faster RCNN

        Faster RCNN算法发表于NIPS 2015,该算法最大的创新点在于提出了RPN（Region Proposal Network）网络，利用Anchor机制将区域生成与卷积网络联系到一起，将检测速度一举提升到了17FPS，并在VOC2012测试集上实现了70.4%的检测结果。

        Anchor可以看做是图像上很多固定大小与宽高的方框，由于需要检测的物体本身也都是一个个宽高不同的方框，因此Faster RCNN将Anchor当做强先验的知识，接下来，只需要将Anchor与真实物体进行匹配，进行分类与位置微调即可。相比起没有Anchor的物体检测算法，这样的先验无疑降低了网络收敛的难度，再加上一系列的工程优化，使得Faster RCNN达到了物体检测中的一个高峰。