经典的深度卷积网络架构（二）

经典的深度卷积网络架构（二）

YOLO系列

YOLO v1

它是首个实现了实时物体检测的网络
基本原理
首先，将图像划分为SXS个网格，然后对于每个网格，通过深度卷积网络：

• 给出对于其中物体所属类别的判断，图中用不同颜色代表不同的类别
• 给出对于其中物体的包围框的几个预测（画在一起就是图中的大量黑框）和判断的信心
• 每个包围框有5个参数：包围框中心相对于网格的x和y坐标，包围框的长，包围框的宽，预测的信心。
  

最后我们可综合考虑所有网格的意见，合并接近的框，给出物体检测结果。
网络架构如图所示

用该网络架构训练Pascal VOC数据集，需要在ImageNet上预训练，而且是一个多任务网络，需要为每个任务设置合适的损失函数，以保证最终效果。
YOLO v1的运行效果如图所示

优点：速度非常快
缺点：识别精度相对较低，有时会漏掉小物体

YOLO v2

1. 加入BN层，训练速度更快，效果更好
2. 预训练时直接在更高分辨率的ImageNet上训练
3. 采用全卷积架构，去掉全连接层
4. 使用5种锚框，其实就是5种固定比例的包围框，每个包围框可拥有各自的类别预测，明显提高对于小物体的召回率
5. 采用新的网络架构，即DarkNet系列
6. 在预测包围框位置时，更倾向于预测中心店与网格中心接近的框，明显提高网络在训练时的稳定性
7. 加入类似残差架构的passthrough层，让网络可同时观察13X13网格和26X26网格上的特征信息
8. 在训练时采用多种不同大小的图像作为输入，提高网络的健壮性

Faster R-CNN

2015年的Faster R-CNN是当时最准确的物体检测网络
首先训练一个图像分类网络，或采用现成的训练好的网络，然后将全连接层去掉，只考虑它的最后一个卷积层的输出
然后在这个基础上训练一个Region Proposal Network（RPN），通过使用3X3和1X1的卷积，将512X60X40变为6kX60X40（例如，对于VGG-16，如果输入的图像是960X640，那最后一个卷积层的输出就是512X60X40），其中k代表锚框的个数，一般k=9，为3种大小和3种比例的组合。

Faster R-CNN和YOLO的主要区别是，YOLO把对于分类的判断也直接放在了候选框生成过程中，而Faster R-CNN还需做进一步分类
Faster R-CNN的分类方法与Fast R-CNN的方法相同，过程如下

• 首先，进行RoI（Region of Interest）池化。具体而言，若候选框的尺寸是PXQ，找到它所对应的网络最后一个卷积层的区域，将其纵横都切成7份，通过最大池化变为7X7X通道数。

• 然后将7X7X通道数，作为输入，经过一个小型全连接网络，输出候选框属于每个类别的概率，以及对于其位置的精细调整偏移值。

• 在得到所有候选框的分类信息后，就可合并所有框，得到最终的结果。如图所示
  

Mask-RCNN

Mask R-CNN在Faster R-CNN的基础上主要做了几点改进：

1. 用RoIAlign代替RoI池化，具体是通过双线性插值得到更精确的结果，这对于后续的遮罩生成很重要

2. 为卷积网络加入了FPN架构，它的思想是从图像的不同尺度提取特征，如图所示，经实验在此的效果比残差网络更好。
   

3. 在Faster R-CNN在RoI后的分类+包围框分支的旁边，加入一个生成图像分割的遮罩的分支，它使用全卷积架构，包括卷积和转置卷积，如图所示
   

遮罩分支的输出是80X28X28，代表对于80个物体的区域预测，每个预测是1张28X28的图像，其中数字代表此位置属于此物体的概率。由于每个物体的预测是独立的，因此减少了类别竞争，可正确处理物体的重叠区域。
如图所示为Mask R-CNN的效果