本文主要介绍了很多Bag of Freebies的方法,所谓Bag of Freebies就是在不增加推理成本的情况下,能够提高检测精度的方法。
Bag of freebies:
(1) 混淆图像
mixup在图像分类中被证实了能够有效减小对抗性扰动。其核心思想就是通过混合训练集中图像的像素这种简单线性变化来调整神经网络。例如:
(2)平滑标签
原来的qi是独热码,即当i = y时为1,i != y时为0。标签平滑过后:
可以降低模型的可信度,有效防止过拟合。
(3)数据处理
随机几何变换。包括随机裁剪(有约束),随机展开,随机水平翻转,随机调整大小。
随机颜色调整。包括亮度,色度,饱和度和对比度的调整。
训练计划的改进:
Cosine型学习率下降。
Warmup learning rate:在初始先使用小的学习率进行训练,等模型符合一定条件后,再换用较大学习率进行训练。