Unbiased Teacher for Semi-supervised Object Detection论文笔记

记录以下论文实验细节与核心点。

贡献

（1）提出一个联合学生模型以及逐渐进步的教师模型半监督检测框架。
（2）应用EMA和Focal loss来降低由伪标签数据产生的偏差问题。

背景介绍

目标检测任务天然就存在着类别不均衡问题，这严重阻碍了伪标签的使用。在目标检测中，存在着前景与背景不均衡以及类别不均衡，这些问题使半监督下的模型易于生成有偏差的预测，即伪标签会偏差朝向主导类而忽略次要类，这将加剧半监督训练的类别不均衡以及严重的过拟合问题。

相关工作

近期主要的半监督学习方法包括（1）数据增强与扰动；（2）一致性正则化。这些方法通过正则化模型使其具有不变性以及鲁棒性，在给定原始输入与增强输入前提下获得一致性的输出。现有的半监督目标检测方法大多关注于使用完全标记数据训练检测器，包括（1）使用标注、弱标注以及未标注数据相结合来训练检测器；（2）使用某些边界框标注完整的类以及其他图像级标注类训练；（3）通过相似性知识迁移，将用于图像级分类器的弱标注类别引入至目标检测器。
CSD提出一种基于一致性的方法，它强迫原始输入和其水平翻转输入的预测结果保持一致。STAC使用少部分标记数据进行预训练检测器，之后将预训练检测器生成的未标记数据的伪标签用于微调预训练检测器。这些生成的伪标签仅仅产生一次并且贯穿整个训练过程。尽管这些方法取得了进步，但他们仍未解决半监督目标检测中的不均衡问题。
。

Unbiased Teacher

Unbiased Teacher训练分为两阶段：
（1）预热阶段：使用有标记数据进行训练初始化检测器；
（2）教师学生互相学习阶段：首先将预热阶段所得的检测器复制成两份，一份为Teacher model，一份为Student model。之后将未标记数据分别进行弱数据增强（随机进行水平翻转）以及强数据增强（包括颜色抖动、灰度、高斯模糊、裁剪布丁），弱数据增强图片通过Teacher model生成伪标签，Student model通过Teacher model的伪标签以及强数据增强图片进行训练。训练时仅Student model进行权重学习并反向传播更新参数，Student model通过指数移动平均（EMA）以传递参数更新Teacher model。因此，Teacher model可以看做是Student model在不同iteration训练的集成结果。Student model训练时采用Focal loss，无监督的损失不包含边界框的回归损失（这是因为伪标签的置信度仅包括分类而没有回归框的置信度）。训练过程中，Teacher model逐渐迁移Student model学习到的权重，因此其可以逐渐生成更准确且稳固的伪标签来训练Student，有效解决了类别不均衡问题，这是模型取得提升的关键。
细节：
（1）预热阶段中，监督损失由回归损失与分类损失相加得到；
（2）教师学生相互学习阶段：为了减少噪声标签的有害影响，选取置信度δ来筛选不可信的预测框，此过程中先进行类别的NMS操作，在进行置信度阈值的筛选。Student model的损失为：
θ_s←θ_s+ γ (∂(L_sup+λL_unsup))/(∂θ_s )
为了获得稳固的伪标签，通过EMA逐渐更新Teacher model。EMA公式：
θ_t←〖αθ〗t+(1-α)θ_s
标准的交叉熵损失导致模型易于预测偏向主导类，多类的Focal loss通过分给低置信度预测结果更多的权重以纠正偏差。
Teacher model的权重最终可由下式表达：
θ_t^i= θ ̂- γ∑(k=1)^(i-1)▒〖(1 - α^(-k+(i-1)))〗 (∂(L_sup+λL_unsup))/(∂θ_s^k )
其中，θ ̂为预热阶段的全监督权重，θ_t^{i为第i个iteration的Teacher权重，θ_s}k为第k个iteration的Student权重，γ为学习率，α为EMA参数。

通过比较伪标签与标签的KL散度，证实了EMA以及Focal loss在生成可靠伪标签的有效性。