(2021 ICCV)SoftTeacher:End-to-End Semi-Supervised Object Detection with Soft Teacher

论文地址：

https://arxiv.org/abs/2106.09018

代码地址：

https://github.com/microsoft/SoftTeacher

https://jishuin.proginn.com/p/763bfbd6d2b5

1. 教师模型和学生模型是两个完全相同的结构，因为要进行 EMA 更新，两者都是带有预训练的随机初始化
2. 有标签图片采用常规的 pipeline 流程，利用学生模型进行预测，计算得到有标签的 loss，包括分类和回归分支 loss
3. 参考 FixMatch 做法，无标签数据会经过强和弱两种不同的 aug pipeline，其中弱增强线输入到教师模型，而强增强线用于学生模型
4. 对于弱增强线的图片，经过教师模型推理预测，nms 后处理可以得到检测结果。前面说过伪框的质量对最终性能影响非常大，需要小心处理，作者采用了高阈值来过滤教师模型的检测结果将其作为强增强线学生模型预测值中分类分支的标签，然而这可能导致许多学习模型预测值中真正的候选框被错误地分配为背景样本。为了解决这个问题，作者建议使用可靠性度量来加权每个“背景”候选框的损失，而实测发现教师模型产生的背景检测分数可以很好地作为可靠性度量。这种监督方式实测效果远好于 hard 标签训练方式，所以本文才称为 soft teacher
5. 由于分类分支和检测分支预测的不一致性以及任务的不一致性，我们也需要找到一个可靠性指标来反应伪框的可信度，但是观察发现定位精度和前景分值没有很大联系，所以作者采用了另一种方法即通过框抖动 box jittering 选择可靠的边界框来训练学生模型的定位分支，这种方法首先多次抖动伪前景框候选；然后在利用教师模型对这些抖动框进行回归(实际上是 rcnn 分支进一步 refine )，并将这些回归框的方差用作可靠性度量；最后将具有足够高可靠性的 box 候选用于学生定位分支的训练。
6. 可以看出强增强线学生模型的无标签分类和回归分支的伪标签是不一样的。教师模型采用 Mean Teachers 方法进行更新。