ssd网络训练loss下降但是精度提不上去_Startdt AI提出：使用生成对抗网络用于OneStage目标检测的知识蒸馏方法...

点击上方“CVer”，选择加"星标"或“置顶”

重磅干货，第一时间送达

Date：20190621

作者团队：Startdt AI Lab& 智云视图

论文链接：https://arxiv.org/abs/1906.08467

github：https://github.com/p517332051/GAN-Knowledge-Distillation-SSD

摘要

卷积神经网络对目标检测的精度有着显著的提升，并且随着卷积神经网络的深度加深，对目标检测精度提升也越大，但是也需要更多的浮点计算。许多研究者通过知识蒸馏的方法，通过把一个更深更大的教师网络中的知识转移到一个小的学生网络中，以提高学生网络在目标检测中的效果。而大部分知识蒸馏的方法都需要设计复杂的代价函数，并且多数针对两步目标检测算法，本文针对一步目标检测算法提出一个干净有效的知识蒸馏方案。将教师网络生成的特征层作为真实样本，学生网络生成的特征层做为假样本，并对两者做生成对抗训练，以提高学生网络在一步目标检测中的表现。

1 Introduction

近些年来，随着目标检测算法的发展，研究者们发现利用更深更大的卷积神经网络作为骨架，对目标检测算法的精度提升越大。并且随着目标检测算法的检测精度提升，使视觉检测算法逐渐从非关键性领域，走向关键性领域(比如无人驾驶和医疗等领域)。但是为了保证检测精度，不得不使用更大的卷积神经网络作为骨架，造成检测速度下降，计算设备成本增加。因此许多研究者在确保检测精度的前提下，提高检测速度提出了很多方法和总结，如通过深度分离卷积 [1，2],或者通过点群卷积(pointwise group convolution)和通道混洗(channel shuffle)[3, 4] 来降低卷积神经网络浮点运算次数的方法，在保证骨架网络精度和容量的情况下减少计算量。虽然获得可观的提速效果，但是这些方法需要精心设计和调整骨架网络。很多研究者认为更深的骨架网络虽然有着更大的网络容量，因此在图像分类、目标检测等任务上有着更优秀的表现。但是一些特定的任务并不需要这么大的容量，所以在保证卷积神经网络精度的情况和下，对卷积神经网络做压缩、量化、通道减枝等[5, 6, 7, 8, 9]。

另一方面，有关于知识蒸馏的工作表明[10, 1