《Unbiased Teacher for Semi-Supervised Object Detection》2021-ICLR 论文阅读

动机

由于目标检测任务中，存在foreground-background imbalance和foreground classes imbalance的问题，为了解决这个问题，作者提出了Unbiased Teacher，训练一个学生模型，并逐步的提升老师模型，彼此互相促进

 

Method

• the BurnIn stage

使用label data来训练detector，用来初始化detector

• the Teacher-Student Mutual Learning stage

复制上述训练的detector，来初始化teacher和student模型，使用teacher产生伪标签来训练学生，学生更新的知识反馈给老师

student的输入使用强增强，teacher的输入使用弱增强

对于bounding boxes预测的伪标签，作者设置了置信度阈值，进一步过滤掉false positive samples

对于duplicated boxes prediction问题，作者在使用置信度阈值前使用非极大值抑制

student模型使用反向传播更新参数，teacher模型使用EMA更新参数

 

 由于EMA训练的保守性，EMA训练可以有效的缓解不平衡的伪标签偏差问题，新的teacher模型是由以前的teacher模型规范化的，这防止了决策边界急剧向少数类移动

由于在训练数据不足的条件下，交叉熵损失函数会使得模型更偏向于预测dominant classes，作者这里使用了multi-class Focal loss

Experiment

作者将这种提升归因于伪标签的准确性和对于不均衡类别问题的处理

 

 

 

Ablation

作者可视化了每个模型生成的伪标签的类分布，并度量了gt标签分布和伪标签分布之间的kl -散度

对于没有EMA的模型，伪标签中的大多数对象类别实例消失了，而只保留特定对象类别实例。