目录
半监督学习(Semi-Supervised Learning)
1. Low-density Assumption:非黑即白
2. Smoothness Assumption:近朱者赤,近墨者黑
A Simple Semi-Supervised Learning Framework for Object Detection
Rethinking Pseudo Labels for Semi-Supervised Object Detection
1. Certainty-aware Pseudo Labels
2. Dynamic Thresholding and Re-weighting
半监督学习(Semi-Supervised Learning)
课程:台大李宏毅老师
1. Low-density Assumption:非黑即白
假设:在两个类交界处的 density 是低的,即数据量很少。
最具代表性的方法:Self-training
【注】这种方式的 self-training 对 regression 任务没有任何效果。
2. Smoothness Assumption:近朱者赤,近墨者黑
基础方法:Clustering
方法二:Graph-based Approach
A Simple Semi-Supervised Learning Framework for Object Detection
STAC 借鉴图像分类领域使用的 semi-supervised learning(SSL)方法,主要使用了 self-training(伪标签)和 consistency regularization(数据增广)两种手段。
STAC 两个阶段
1. 在有标签数据上训练教师模型(Faster R-CNN),直至收敛。之后用训练好的教师模型在无标签数据上生成类别标签和预测框,最后利用高置信度阈值筛选伪标签;
2. 对无标签数据进行强增广,将筛选过伪标签后的无标签数据加入到训练数据中,与有标签数据一起训练模型。STAC 强增广主要包括全局色彩变换、全局或 box-level 几何变换以及 Cutout。
【注】
1. STAC 使用经 NMS 后的 bounding box 预测概率,移除了大量重复检测,之后应用 confidence-based thresholding 来进一步减少潜在的错误标签框。
2. STAC 的 data augmentation 是分步进行的:
STAC 主要贡献
1. 将图像分类领域基于 self-training 和 augmentation-driven consistency regularization 的 SSL 方法扩展到目标检测领域;
2. STAC 只引入两个新的超参数:置信度阈值 (用以筛选伪标签)和非监督损失权重
;
3. 针对使用 MS-COCO 的 SSL 目标检测任务,提出了新的 experimental protocols。
Rethinking Pseudo Labels for Semi-Supervised Object Detection
动机
1. 筛选检测框伪标签利用的是分类(classification)的置信度,无法反映出定位(localization)的精度;
2. 目标检测中存在较为严重的类别不均衡的问题,而一般教师模型得出的伪标签会加剧这一问题。
要点
1. Certainty-aware Pseudo Labels
为解决上述第一个问题,作者以分类的视角做 bounding box 的定位任务,从而可以测量 bounding box 的定位质量。
具体来说,作者通过分类的方法,将候选框的各边定位、分配给 ground truth 的各边。以左侧边为例,首先,作者将与左侧边垂直的一条线段均匀地分为K个间隔,通过一个 K-way 分类器,预测候选框的左侧边应该属于第几个间隔。如果 GT box 的左侧边与第 k 个间隔垂直相交,那么就标记该边的 target 为第 k 个间隔。
得到的坐标分类置信度均值 与原本的检测分类置信度
相乘,这样指标既可以反映出检测器分类的准确度,也可以反映出坐标框回归的定位精度,可以用于后续的 NMS 及生成伪标签。
另外,为了增加定位精度,作者额外训练了一个回归损失对定位坐标做更精细的修正。
2. Dynamic Thresholding and Re-weighting
针对上述第二个问题,依据前面得出的指标,作者动态调整不同类别的伪标签置信度阈值,并且重新赋予不同类别以不同的权重。
这个方法可以使得前景数量少的置信度阈值 更小、损失权重
更大,以缓解类别不均衡的问题。
主要参考来源:半监督目标检测研究进展 - 知乎