小目标检测感想

研究了一段时间coco上的小目标检测，打算放弃了，不过还是得做个总结和感想。

---

小目标检测有个主要的问题：小
小意味着：

1、信息量少

这是一个比较抽象的问题，小目标，纹理和轮廓都堆在一块儿，而且又少，对于偏好靠纹理识别目标的CNN来说是不易识别的，而且就算对于人眼，小目标就算告诉你那有个目标，也不一定能对它正确分类，这是信息量的缺失带来的。
对于信息量这一块，人们也想了不少办法
（1）其中一种直观的，你把小物体放大不就得了嘛。如Sniper。用插值法将小物体放大，虽然说是增大信息量有点勉强，不过让物体变大一点也确实会稍微好看一点，同时SNIP提出基于高分辨率图像训练的模型也可以有效提取放大的低分辨率图像的特征,当然在我看来Sniper所做的方法，让小物体变大，并不只是为了加信息量这么简单，这种成功的小目标检测方法往往都有多种成功的因素，看后面几点。
（2）对小目标做超分，如Perceptual GAN。在训练的时候，过了ROI pooling抠出来小目标的特征图，同时另一条generator分支输出该目标的特征图，将两个特征图相加，得到超分的特征图，过检测头，同时过Discriminator，Discriminator的输入是超分的特征图和对应的目标的大图。
这篇文章没细看，不过这个大目标的图是怎么来的？是先把图像缩小了过目标检测，然后拿原图当超分的gt?还是拿另一个相似的目标作为gt？

2、正样本分配少

这一块是我比较关注的，不过可惜我能想到的方法别人早就想到了。。
（1）对于小目标来说，用Iou阈值的方式去分配正样本肯定是不好的，这对anchor的设计要求十分严格，正样本分配考虑的是anchor和gt的相似性，其中包括空间位置与尺寸，若anchor中小尺寸的比例较少，自然小目标分到的正样本就少了。对于FCOS，他们最初的正样本分配是靠落在gt内的就被分为对应的正样本，自然小目标里能落得正样本就少了，不过他们又加了CenterSampling，即落在gt中心点周围一定半径的圆内的anchor被作为其正样本，同时通过不同尺度的feature map来预测不同尺度的gt来解决一个点同时落在多个gt内不好分配的问题，同时确定就算在同一尺度的gt上仍出现了这个问题，则这个正样本归面积小的gt所有，也是一定程度上关照小目标。
（2）另外，正样本分配得少有一个本质的问题，就是卷积，以FCOS为例，虽然用了FPN，但接了检测头的最大的那层feature map——C3的stride=8，也就意味着这个feature map上的点映射回原图，每个anchor中心点都有8的间隔，这就意味着面积小于8*8的gt是很难被分配到多个anchor的，就算你用距离来强行多拿几个anchor，可是里面有很多anchor确实就离gt相对比较远，你还要强行把它作为你的正样本，就有点说不过去了。对于这一点，其实人脸检测里面也已经做了相关工作了，比如做稠密anchor的S3FD和FaceBoxes，同时对小目标做宽松的IoU阈值策略，比如分配正样本时对小目标的IoU阈值降低，使得小目标分配更多的正样本。

3、小目标不均衡

上面两点是小目标共同的问题，其实还有一点是COCO数据集里面小目标不均衡的问题。
根据Stitcher和SNIP，所有box中，41.4%的是小物体，是三种尺寸物体中最多的，但只有52.3%的图片包含了小物体，即有一半的图片中没有小物体，数据集中的物体尺寸变化比较剧烈，有的占比不到图片的10%，有的能超过90%

最后我们再来看一下Sniper的方法，做尺度归一化，相当于是把小目标放大了，这在一定程度上解决了2中的样本分配问题，但是这相当于是训练集中小目标减少了，因此对于测试集在测试的时候也要做多尺度测试操作，不然小目标可能就很难检测了，而且Sniper的对小目标所在区域放大处理的操作其实跟遥感目标检测里面那种切path做检测的方法异曲同工，而Stitcher的方法，相当于增大了小目标的占比，解决的是3的小目标不均衡的问题，2却没能解决，不过由于Stitcher是数据增强，可以很方便地和其他方法重用。
另外还有专门对小目标做oversampling的复制粘贴方法，还有谷歌那篇对所有目标做随机复制粘贴的方法，都是在解决样本均衡，或者说是长尾分布问题。