SNIPER: Efficient Multi-Scale Training

conclusion:

主要针对小目标检测, 没有提出新的检测算法, 仅仅是对输入图像的一个采样策略.

主要思想是尽量让输入训练的一张图像里面的各个目标的尺度在一个范围内, 不要相差太大从而提升性能, 并且不要让那些无关的背景区域也过多的参与训练从而提高效率

主要方法是图像金字塔, 定义chip, 就像是滑动窗口, 然后选出一些目标多的窗口chip(对于图像金字塔的每个尺度计算的目标也限定在一定的尺度), 另外作者还用了一些技巧去Hard negative mining, 即找到没有那么多目标但容易误判有很多目标的窗口(chip), 从而提升对背景区域的检测能力.

使用fast r-cnn的架构

相关背景

本篇是SNIP的升级版, 进一步思考尺度不变形和加快其训练速度.

 

作者用了很大篇幅讨论关于目标检测尺度不变形的问题, 尺度不变形即体系经过尺寸变换后, 其某一特性不变.

 

R-CNN本身具有很好的尺度不变形 .使用提出很多候选区域, 固定成相同的大小, 这就引入了尺度不变形(体系的尺寸相同). 主要问题是太慢了.

 

Fast R-CNN卷积共享解决了慢的问题, 然而对于不同大小的目标, 都是在同一个尺度的图像上卷积计算特征(理想状态是输入的任一一张图像中, 在这个图像里的每个目标都差不多大小, 这也是本文解决的问题.). 这就影响了尺度不变性. 所以训练和推理一般使用多个图像金字塔, 由于特征共享引入了全局信息, 所以性能也就好很多.

 

综上本文提出一种SNIPER的方法，通过生成scale specific context-regions，不管哪个尺度都采样到512x512，这样既保留RCNN的尺度不变性和Fast系列的速度，也由于过滤到了很大一部分背景而比SNIP快很多

SNIPER

 

先定义chip

安装图像金字塔的形式, 讲原始图像分成多个尺寸(本文3个), 然后以K*K(本文512)的框, stride=d(本文32)在整个图上滑动, 生产的就是chip. 这些chip就是cnn的输入. 在原图按照比例使用不同的K生产chip, 然后再映射到512, 这种方法实现容易. 上图左面绿的是GT, 别的颜色就是chip. 显然蓝色的红色的chip来自同一个尺度的图像

 

正的chip

显然不能让每个chip都参与训练, 对于一个图大部分都是背景, 咱们只需要拿出来一些GT比较多的chip来训练就可以了, 选择哪些呢?

在第i种尺度图像, 安照SNIP的思想, 仅仅观察指定尺寸范围内的目标, 这些目标称为有效GT(记为Gi). 如果一个有效GT完全位于一个chip内侧, 则称这个GT被这个chip覆盖. 现在在当前图像中选择覆盖有效GT最多的前几个chip(具体几个看code, 这不重要)作为正chip, 记为C{i, pos}. 如上图, 红色的就是在当前尺度中没有在有效范围内的GT. 绿色的是有效的GT.

其实这样选并不能保证所有的GT都能覆盖, 但是我们是训练, 完全没必要选择出所有GT去训练.

这样同时每个chip只包含合适尺寸的检测物体，这使得模型更加容易收敛.

 

负的chip

我们训练如果只用正chip, 可以想到会出很大问题, 因为测试的时候要使用所有chip, 其中很多chip难免是背景, 如果使用仅仅用正chip训练的网络, 那么对背景chip, 会提出一些false 正例. 基于这个原因, 需要找一些负的chip. 而所谓负的chip代表那些很那确定有没有物体的chip(显示不是纯背景), 寻找方案如下:

(由于没看代码, 这段读了很久也不是很懂, 仅仅提供参考)

使用正chip训练RPN, 然后对于当前 i 尺度的图像, 我们去掉那些正的chip, 使用剩余的chip通过刚刚训练的rpn去生成proposal. 所谓负的chip就是那些至少覆盖M个proposal的chip. 记为C(i, neg).

 

 

SNIPER的训练

在Faster R-CNN中训练是两个过程: RPN+Fast R-CNN, SNIPER使用了这种训练形式

在SNIPER中，两个任务会使用两个不同的标签，首先训练RPN时，chips中的待检测物体的Ground Truth并不会受范围 R 的限制。但是再根据RPN提取的候选区域训练Fast R-CNN时，在范围 \mathcal{R} 之外的候选区域并不会参与Fast R-CNN的训练。这么做的原因作者没有指出，猜测是RPN需要检测的候选区域覆盖范围更广，因此需要更多的，范围更大的Ground Truth。而Fast R-CNN需要检测的更准确，因此把这个任务交给了能提取到更合适的特征向量的对应尺度。

 

另外其测试也要在多尺度上进行. 最终使用soft-NMS