深度学习——提升小目标的检测方法_小目标检测之提高分辨率-CSDN博客

小目标难检测原因
主要原因
（1）小目标在原图中尺寸比较小，通用目标检测模型中，一般的基础骨干神经网络（VGG系列和Resnet系列）都有几次下采样处理，导致小目标在特征图的尺寸基本上只有个位数的像素大小，导致设计的目标检测分类器对小目标的分类效果差。
（2）小目标在原图中尺寸比较小，通用目标检测模型中，一般的基础骨干神经网络（VGG系列和Resnet系列）都有几次下采样处理，如果分类和回归操作在经过几层下采样处理的特征层进行，小目标特征的感受野映射回原图将可能大于小目标在原图的尺寸，造成检测效果差。
其他原因
（1）小目标在原图中的数量较少，检测器提取的特征较少，导致小目标的检测效果差。
（2）神经网络在学习中被大目标主导，小目标在整个学习过程被忽视，导致导致小目标的检测效果差。
Tricks
（1）data-augmentation.简单粗暴，比如将图像放大，利用 image pyramid多尺度检测，最后将检测结果融合.缺点是操作复杂，计算量大，实际情况中不实用;
（2）特征融合方法：FPN这些，多尺度feature map预测，feature stride可以从更小的开始;
（3）合适的训练方法：CVPR2018的SNIP以及SNIPER;
（4）设置更小更稠密的anchor，设计anchor match strategy等，参考S3FD;
（5）利用GAN将小物体放大再检测，CVPR2018有这样的论文;
（6）利用context信息，建立object和context的联系，比如relation network;
（7）有密集遮挡，如何把location 和Classification 做的更好，参考IoU loss, repulsion loss等.
（8）卷积神经网络设计时尽量度采用步长为1，尽可能保留多的目标特征。

为了提高你的模型在小目标上的性能，我们推荐以下技术：
①　提高图像采集的分辨率
②　增加模型的输入分辨率
③　tile你的图像
④　通过增强生成更多数据
⑤　自动学习模型anchors
⑥　过滤掉无关的类别
 提升图像采集的分辨率
非常小的物体的边界框中可能只包含几个像素，这意味着增加图像的分辨率可以增加探测器可以从那个小盒子中形成的丰富特征，这是非常重要的。
因此，我们建议尽可能提高采集图像的分辨率。
 提高模型的输入分辨率
一旦你有了更高分辨率的图像，你就可以放大模型的输入分辨率。警告：这将导致大型模型需要更长的时间来训练，并且当你开始部署时，也会更慢地进行推断。你可能需要实验来找出速度与性能之间的正确权衡。
 对图像进行Tiling
检测小物体的另一个重要策略是将图像切割后形成batch，这个操作叫做tile，作为预处理步骤。tile可以有效地将检测器聚焦在小物体上，但允许你保持所需的小输入分辨率，以便能够运行快速推断。
如果你在训练中使用tile，重要的是要记住，你也需要在推理时tile你的图像。
 通过增强产生更多数据
数据增强从基本数据集生成新的图像。这对于防止模型过拟合训练集非常有用。
一些特别有用的小物体检测增强包括随机裁剪、随机旋转和马赛克增强。
 自动学习模型Anchors
Anchors是你的模型学会预测的与之相关的原型边界框。也就是说，anchors可以预先设置，有时对你的训练数据不是最优的。最好根据你手头的任务自定义调优它们。幸运的是，YOLOv5模型会根据你的自定义数据自动为你完成这项工作。你所要做的就是开始训练。
 过滤掉无关的类别