(2022 AAAI) Semi-Supervised Object Detection with Adaptive Class-Rebalancing Self-Training

Motivation:

1. SSOD中的伪标签不准确。此外，在前景-背景不平衡的标记数据上训练的模型容易产生有偏差的预测。
2. 类别不平衡（前景背景不平衡，前景类别不平衡）

Method：

前景-背景重新平衡的数据防止模型过度匹配背景实例，并帮助从大量未标记的数据中挖掘有益的信息。
前景-前景重新平衡的数据有利于利用来自被忽视的类的信息的模型预测，并避免对过度聚焦的类的有偏见的预测
CropBank存储ground truths/pseudo labels of foreground instances in labeled/unlabeled data

1. foregroundbackground rebalancing (FBR)
   FBR提取存储在CropBank中的前景实例标签，augment&random paste
2. adaptive foregroundforeground rebalancing (AFFR)
   pseudo recall to judge whether a class is neglected or over-focused in SSOD
   a. 被忽略类的标签被更频繁地采样,根据标签数据和未标签数据之间的分布相似性，估计标签数据中未标签数据的类分布
   b. 提出了一种半监督多标签分类模型来为未标记数据生成图像级的伪标签，教师模型只预测unlabel的img中是否存在该类目标来监督学生模型
   c. 设计了一种两级过滤机制来过滤掉在分类置信度中激活负值的伪标签或图像级伪标签

1. 低层语义， classification confidence threshold
2. 高层语义（image-level），类激活为负值， multi-label confidence threshold

Experiment

each training batch with 32 labeled and 32 unlabeled images