【目标检测经典模型比较】--Fast R-CNN Faster R-CNN Mask R-CNN

1.Fast R-CNN

论文精读

摘要： 两个主要挑战：

1. 必须处理许多候选对象位置(通常称为“建议”)。
2. 这些候选对象只提供了粗略的定位，必须加以改进才能实现精确的定位。这些问题的解决方案通常会牺牲速度、准确性或简单性。

在本文中，我们简化了最先进的基于convnet的目标检测器的训练过程。我们提出了一种单阶段训练算法，该算法联合学习对目标建议进行分类并细化其空间位置。

1. Fast RCNN具有更高的目标检测的精度
2. 训练过程采用多任务的损失函数
3. 训练可以更新所有网络层的参数（Fast R-CNN可以更新所有网络层的参数是指，在训练过程中，它不仅可以优化全连接层的权重，还可以优化卷积层的权重。这样可以使得网络更好地适应目标检测的任务，提高检测的准确度。相比之下，SPPnet只能更新全连接层的参数，而卷积层的参数是固定的。这是因为SPPnet使用了预训练好的卷积层来提取特征，而没有对其进行微调）
4. 不需要额外的磁盘空间存储特征
   我们提出了一种新的训练算法，该算法修正了R-CNN和SPPnet的缺点（multi-stage、训练消耗空间时间大、检测慢），同时提高了它们的速度和准确性。

优点:

1. 检测质量(mAP)高于R-CNN、SPPnet
2. 训练是单阶段的，使用多任务损失
3. 训练可以更新所有网络层。https://github.com/rbgirshick/fast-rcnn.
   （目标检测之所以慢，就是因为卷积网络的前向运算对于每个proposal都会计算一次(一张图片可能会产生1k个proposal) 没有共享计算，所以SPPnet(空间金字塔池化网络)提出了一个利用共享计算加速RCNN的方法。它只在整张图上利用卷积神经网络进行特征提取，得到关于整张图的特征图！然后利用proposal在图片的区域，进行一次映射，映射到特征图上然后进行proposal特征向量的生成，再送入后续网络，这样的方法省略了大量的重复提取特征的时间）
   

Fast R-CNN网络的创新点主要有以下几个方面：

• 它提出了一个，使用一个来同时学习分类物体候选区域和精调它们的空间位置。这样可以简化训练过程，避免了R-CNN中的多阶段训练和SVM的使用
• 它提出了一个，可以将不同大小的物体候选区域映射为固定长度的特征向量。这样可以实现卷积层的计算共享，避免了SPPnet中的固定卷积层和特征缓存
• 它可以使得网络更好地适应目标检测的任务，提高检测的准确度相比之下，SPPnet只能更新全连接层的参数，而卷积层的参数是固定的
  网络：我们用三个预训练的ImageNet[4]网络进行实验，每个网络有5个最大池化层和5到13个卷积层(参见4.1节了解网络细节)。当一个预训练的网络初始化一个Fast R-CNN网络时，它经历了三个转换。

① 将最后一个最大池化层替换为RoI池化层，该层通过设置H和W与网络的第一个完全连接层兼容来配置(例如，对于VGG16, H = W = 7)。

② 网络的最后一个完全连接层和softmax(经过1000路ImageNet分类训练)被前面描述的两个兄弟层(一个完全连接层和超过K + 1个类别的softmax和特定类别的边界盒回归器)所取代。

③ 将网络修改为接受两个数据输入:图像列表和这些图像中的roi列表。

2.Faster R-CNN

新的区域建议网络(RPNs)在GPU加速计算，缩短时间

1. Faster R-CNN使用神经网络生成待检测框，替代了其他R-CNN算法中通过规则等产生候选框的方法，从而实现了端到端训练，并且大幅提速。
2. 引入了新的“锚”框，作为多个尺度和纵横比的参考。方案可以被认为是回归参考的金字塔，它避免了枚举多个尺度或宽高比的图像或过滤器。该模型在使用单尺度图像进行训练和测试时表现良好，从而提高了运行速度。

为了将RPNs与Fast R-CNN目标检测网络统一起来，提出了一种训练方案，该方案在区域提议任务的微调和目标检测的微调之间交替进行，同时保持提议的固定。该方案收敛速度快，并产生了两个任务共享的具有卷积特征的统一网络：
第一个模块是提出区域的深度全卷积网络，
第二个模块是使用提出区域的Fast R-CNN检测器

网络结构
整个Faster R-CNN可以分为三部分：

1. backbone：共享基础卷积层，用于提取整张图片的特征。例如VGG16，或Resnet101，去除其中的全连接层，只留下卷基层，输出下采样后的特征图。
2. RPN：候选检测框生成网络（Region Proposal Networks）。
3. Roi pooling与分类网络：对候选检测框进行分类，并且再次微调候选框坐标（在RPN中，网络会根据先前人为设置的anchor框进行坐标调整，所以这里是第二次调整）。输出检测结果。

3.Mask R-CNN

主要工作

1. 我们提出了一个概念简单、灵活、通用的对象实例分割框架。我们的方法有效地检测图像中的物体，同时为每个实例生成高质量的分割掩码。该方法被称为Mask R-CNN，它扩展了Faster R-CNN，在现有的边界框识别分支的基础上，增加了一个用于预测对象掩码的分支。
2. mask R-CNN很容易训练，只增加了一个小的开销，更快的R-CNN，以5 fps运行。
3. 推广：Mask R-CNN很容易推广到其他任务中，例如，允许我们在相同的框架中估计人体姿势。
   （展示了一个令人惊讶的简单、灵活和快速的系统（不需要很复杂）可以超越先前最先进的实例分割结果。）
   基于掩码和类标签的并行预测，这种方法更简单，更灵活。