2021 目标检测知识蒸馏 SOTA：End-to-End Semi-Supervised Object Detection with Soft Teacher

论文地址：

https://arxiv.org/abs/2106.09018

代码地址：

https://github.com/microsoft/SoftTeacher

主要工作：

当前的半监督目标检测算法都需要多阶段的训练，例如在第一阶段使用右边去数据训练，然后再生成伪标签并重新训练。但是这些伪标签可能并不准确，从而限制了精度的提升。

提出了一种端到端的半监督目标检测算法。该算法在每次迭代的同时对未标记图像进行伪标记，然后同时使用标记数据和伪标签进行训练。

具体来说，标记和未标记的图像以预先设定的比例随机采样，形成一个数据批。对这些图像应用了两种模型，一个进行检测训练，另一个负责对未标记图像的伪标签进行标注。前者也被称为学生，后者是一名教师，这是学生模型的指数移动平均（EMA）。

这种端到端方法避免了复杂的多阶段训练方案。此外，它还使一个“飞轮效应”，伪标记和检测训练过程可以相互强化，从而随着训练的进行而变得越来越好。

具体实现：

上图说明了我们的端到端框架的概述。有两种模式，学生模型和教师模式。