1 小目标小
小目标小,所以占用图像的像素就少,特征就少
检测框小,漏检率高
解决思路:
1)数据增强。 复制小目标,经过旋转缩放等,粘贴到该图像其它地方
2)利用小目标上下文信息。如检测人脸,脸通常和头脖子肩膀在一起,可以一起作为检测对象。
如检测红绿灯,通常和灯外面的罩子一块检测。
3)将图像划分为几个重叠的区域,将每个区域作为一张图像送入网络训练
2 样本不均衡
为了定位目标,基于anchor的方法是预先在图像的每一个位置生成一系列的Anchor,在训练中,通过设定固定的阈值来判断Anchor是否属于正样本。当人工设定的Anchor与小目标的真实边界框差异较大时,二者计算iou小于阈值,导致模型忽略对小目标的检测,小目标的训练正样本将远远小于大目标的正样本。Anchor的使用引入了大量的超参数,使得网络难以训练,不易提升小目标的检测性能。NMS计算量大。
无chchor机制:角点和中心点
DeNet、PLN(point linking network)、CornerNet
CenterNet、ExtremeNet
3 类别不平衡
小目标更容易受误差的影响
优化损失函数:
提出一种依据目标尺寸设定不同权重的损失函数。
RetinaNet,由于背景和前景的类别不平衡,提出focal loss损失函数
4 经过池化后,特征图变小,小目标变得更小甚至消失
解决思路:多尺度
1)特征金字塔FPN。将不同分辨率的特征图融合在一起。
2)空洞卷积和可变形卷积,通过获取不同感受野大小可以获得不同尺度的信息。
3)Extended Feature Pyramid Network for Small Object Detection
4)ION(Inside-outside network)。从不同尺度特征图中裁剪出同意感兴趣区域的特征,然后综合这些多尺度特征进行预测,以达到提升检测性能的目的
5)HyperNet,多尺度融合网络,通过综合浅层的高分辨率特征和深层的语义特征以及中间层特征的信息显著提高召回率。
6)Unet
5 基于anchor
多设置几个小尺寸的anchor。
anchor自适应优化:k-means聚类anchor形状。
Bridging the Gap Between Anchor-based and Anchor-free Detection via Adaptive Training Sample Selection
ROI pooling被ROI align替换
数据增强、多尺度特征融合、基于anchor和无anchor、损失函数、上下文学习、GAN提高目标分辨率