目标检测中的多尺度问题及优化-SNIP

---

在目标检测任务中，算法的效果常常会受到多种因素的影响，比如遮挡、目标尺度变化等，在之前的一篇博文中，笔者解释了针对遮挡问题进行优化的几种算法。最近中科院自动化所陈韫韬等人提出了"Trident Network"，单模型的mAP刷到了48.4，于是引起了笔者的兴趣，在读这篇文章的过程中发现，目标检测方向已经存在了几篇解决多尺度问题的文章，为了能够对多尺度问题有更加深刻的理解，于是阅读了一系列的目标检测中的多尺度问题及优化的文章。

SNIP，全称为“Scale Normalization for Image Pyramids”，作者在提出解决方案（SNIP）之前，做了大量的实验来发现问题和分析问题的原因，笔者一直做的是分类和检测方向，在读文章的过程中受到很大的启发，故在这里记录，希望对大家也有所帮助。

1 检测任务的困难

图像分类算法，比如ResNeXt-101 32 × 48d网络结构，在Imagenet数据集上的Top5准确率已经98%左右，Top1为85%。对于图像检测算法，最好的模型在coco数据集上的效果$A{P}_{50}$为62%，显然，总体上来看，准确率差了20个点左右，那么问题来了，为什么检测算法比识别算法的效果低这么多呢？

1.1 尺度差异

作者认为原因在于，检测任务中的目标存在较大的尺度变化（large scale variation）。作者统计了Imagenet和COCO数据集的特点，如下图，

其中，横坐标表示目标相对于原图的比例，纵坐标表示累计分布（cumulation distribution function）。显然，由图中可以看出，COCO数据集中50%的目标相对原图的比例小于0.106，而Imagenet数据集中相对原图的比例小于0.106的目标的比例不足10%，因此，COCO数据集中的目标尺寸明显小于Imagenet数据集中的目标。

而且，COCO数据集中，最小的10%的目标尺寸小于0.024，最大的10%的目标尺寸大于0.472，显然，对于待检测的所有目标，它们的尺寸差异是很大的，那么如何把所有尺寸的目标都召回来呢？

1.2 domain-shift

通常，对于目标检测任务，我们会使用imagenet预训练的模型，然后做finetune。但是，上面提到了分类数据集中目标的尺寸比检测数据集中的大，所以直接finetune会引入“domain-shift” 问题，那么如何保证finetune用的数据集中目标尺寸和检测数据集中保持一致呢？

2 图像分辨率对分类任务的影响

在分类任务中，我们常常遇到训练集或者测试集中包含了不同分辨率的图片。根据经验这时候会有很多种选择，(1) 把所有的图片缩放到相同尺寸，然后训练和推理；(2) 训练大网络和小网络，分别用来处理大分辨率和小分辨率的图片，笔者之前用过第二种方案。但是在论文中，作者用数据说话，证明了这两种方案都是次优的。

（a）CNN-B方案：训练集将图像下采样到$48\times 48,64\times 64,80\times 80,96\times 96,128\times 128$，模拟出低分辨率图片，然后将低分辨率图像resize到$224\times 224$作为网络的输入，测试集将所有图像resize到$224\times$