Dense Teacher: Dense Pseudo-Labels for Semi-supervised Object Detection论文阅读

Dense Teacher: Dense Pseudo-Labels for Semi-supervised Object Detection论文阅读
Zhou, Hongyu, Zheng Ge, Songtao Liu, Weixin Mao, Zeming Li, Haiyan Yu, and Jian Sun. "Dense teacher

Motivation

由于半监督的目标检测的以往的pseudo-box的方式需要进行后处理：用预测的pseudo-boxes来做监督的时候，需要进行带有很多超参的后处理过程，比如NMS thresholding 和label assignment等等。 这一过程带来了信息的损失。于是提出无需任何post-processing的dense sogmid的logits作为伪标签进行监督。

Overview

提出了一个统一的SS-OD pipeline（叫做dense teacher），生成dense pseudo label（DPL）来进行知识迁移
但是存在一个问题：dense logits中包括了噪声，这个主要是low-scoring predictions来带的，所以提出一个region division方法把这些噪声区域去除，并且选择关键区域进行蒸馏。

Contribution

1. 详细的讨论了之前的SS-OD的pipeline的缺点
2. 提出了一个dense的SS-OD框架
3. 实验

Implementation

1. 挑选有标签和无标签的数据作为一个batch
2. Teacher model 是学生网络的EMA，拿增强过的没有标签的数据来产生伪标签
   特征后面加上sigmoid
3. 学生网络拿有标签的数据计算有监督的loss，同时没有标签的数据利用伪标签产生监督loss
   伪标签的监督loss分为两部分，一部分是分类，一部分是回归
   分类：其中y是选择Feature Richness Score（FRS）前k%的预测标签，其他赋值0
   
   回归：直接加了Endto-end semi-supervised object detection with soft teacher的这个【这个是锦上添花了，主要的创新还是前面】
4. 两个loss weight 并且更新学生网络。同时利用学生网络来更新老师网络（EMA）

What’s More

从减少手工的步骤思考！这一条路径可以运用到其他的方向中去。
Feature Richness Score（FRS）考虑不同特征的价值，十分有意思。