小目标检测核心难点:
1、小目标本身携带RGB信息少
2、数据集存在大小目标不均衡的问题
3、anchor难匹配问题:主要是针对anchor-based方法,由于小目标的gt box和anchor都很小,anchor和gt box稍微产生偏移,IoU就变得很低,导致很容易被网络判断为negative sample。对于小目标,IoU对偏移量x极为敏感。
难点1:(池化层存在减少图像信息的弊端,尽可能的让小目标本身信息不减少、或者是增多)
(1) FPN特征金字塔:不同尺度特征回归不同尺度检测框,避免不同尺寸目标互相影响
(2) HRNet:减少小目标本身信息的损失
(3) 结合目标周围信息进行检测。本意是增加小目标的信息,例如:检测人脸,可以借助检测人脸+人体的方法,帮助提高小目标的召回率。
难点2:
(4) 数据增强(yolo系列的数据增强,马赛克等)
数据增强——增加小目标样本数量
- 通过复制-拷贝,将小样本进行跨图像拷贝,增加样本多样性;
- 图像缩放后拼接,将大目标缩小,增加小目标数量;
- GAN生成小目标样本;
(5) focal loss
难点3:
(6) anchor-free策略,比如FCOS