半监督目标检测（一）

目录

半监督学习（Semi-Supervised Learning）

1. Low-density Assumption：非黑即白

最具代表性的方法：Self-training

2. Smoothness Assumption：近朱者赤，近墨者黑

基础方法：Clustering

方法二：Graph-based Approach

A Simple Semi-Supervised Learning Framework for Object Detection

STAC 两个阶段

STAC 主要贡献

Rethinking Pseudo Labels for Semi-Supervised Object Detection

动机

要点

1. Certainty-aware Pseudo Labels

2. Dynamic Thresholding and Re-weighting

---

半监督学习（Semi-Supervised Learning）

课程：台大李宏毅老师

1. Low-density Assumption：非黑即白

假设：在两个类交界处的 density 是低的，即数据量很少。

最具代表性的方法：Self-training

【注】这种方式的 self-training 对 regression 任务没有任何效果。

 

2. Smoothness Assumption：近朱者赤，近墨者黑

基础方法：Clustering

方法二：Graph-based Approach

A Simple Semi-Supervised Learning Framework for Object Detection

STAC 借鉴图像分类领域使用的 semi-supervised learning（SSL）方法，主要使用了 self-training（伪标签）和 consistency regularization（数据增广）两种手段。

STAC 两个阶段

1. 在有标签数据上训练教师模型（Faster R-CNN），直至收敛。之后用训练好的教师模型在无标签数据上生成类别标签和预测框，最后利用高置信度阈值筛选伪标签；

2. 对无标签数据进行强增广，将筛选过伪标签后的无标签数据加入到训练数据中，与有标签数据一起训练模型。STAC 强增广主要包括全局色彩变换、全局或 box-level 几何变换以及 Cutout。

【注】

1. STAC 使用经 NMS 后的 bounding box 预测概率，移除了大量重复检测，之后应用 confidence-based thresholding 来进一步减少潜在的错误标签框。

2. STAC 的 data augmentation 是分步进行的：

STAC 主要贡献

1. 将图像分类领域基于 self-training 和 augmentation-driven consistency regularization 的 SSL 方法扩展到目标检测领域；

2. STAC 只引入两个新的超参数：置信度阈值  （用以筛选伪标签）和非监督损失权重 ；

3. 针对使用 MS-COCO 的 SSL 目标检测任务，提出了新的 experimental protocols。

Rethinking Pseudo Labels for Semi-Supervised Object Detection

动机

1. 筛选检测框伪标签利用的是分类（classification）的置信度，无法反映出定位（localization）的精度；

2. 目标检测中存在较为严重的类别不均衡的问题，而一般教师模型得出的伪标签会加剧这一问题。

要点

1. Certainty-aware Pseudo Labels

为解决上述第一个问题，作者以分类的视角做 bounding box 的定位任务，从而可以测量 bounding box 的定位质量。

具体来说，作者通过分类的方法，将候选框的各边定位、分配给 ground truth 的各边。以左侧边为例，首先，作者将与左侧边垂直的一条线段均匀地分为K个间隔，通过一个 K-way 分类器，预测候选框的左侧边应该属于第几个间隔。如果 GT box 的左侧边与第 k 个间隔垂直相交，那么就标记该边的 target 为第 k 个间隔。

 

得到的坐标分类置信度均值  与原本的检测分类置信度  相乘，这样指标既可以反映出检测器分类的准确度，也可以反映出坐标框回归的定位精度，可以用于后续的 NMS 及生成伪标签。

另外，为了增加定位精度，作者额外训练了一个回归损失对定位坐标做更精细的修正。

2. Dynamic Thresholding and Re-weighting

针对上述第二个问题，依据前面得出的指标，作者动态调整不同类别的伪标签置信度阈值，并且重新赋予不同类别以不同的权重。

这个方法可以使得前景数量少的置信度阈值  更小、损失权重  更大，以缓解类别不均衡的问题。

主要参考来源：半监督目标检测研究进展 - 知乎