半监督目标检测(三)

目录

ISMT

动机

1. Overview

2. Pseudo Labels Fusion

3. Interactive Self-Training

4. Mean Teacher

Unbiased Teacher

动机

1. Overview

2. Burn-In

3. Teacher-Student Mutual Learning

4. Bias in Pseudo-Label


ISMT

Interactive Self-Training with Mean Teachers for Semi-supervised Object Detection

动机

1. 此前 semi-supervised object detection (SSOD) 的方法都忽略了一个问题:对于同一张图像,不同的训练迭代次数所产生的检测结果存在差异;

2. 不同的模型对同一张图像的检测结果不同。

5097c75e5281425f928955493d0656d4.png

1. Overview

为改善上述问题,作者提出 interactive self-training with mean teachers (ISMT):

10c3020f42134087b984caebfb70519e.png

首先,作者使用带标签数据预训练监督模型(拥有两个检测头部 ROI Heads 的 Faster R-CNN),并利用这个预训练模型在无标签数据上生成原始的伪标签,以此为基础构成 Pseudo Labels Memory。

在半监督训练阶段,作者用预训练参数初始化模型,并将带标签数据和无标签数据共同输入训练模型。对于带标注数据,损失函数与监督学习相同。而对于未标注数据,作者采用 ISTM 方法。即利用 Pseudo Labels Memory 和非极大值抑制(NMS)融合不同迭代次数产生的检测结果。此外,对于两个不同结构的 ROI Heads 使用 mean teacher 方法,每一个 teacher ROI head 由相应的 student ROI head 使用指数移动平均(EMA)得到,并且为当前 batch 的未标注数据生成最新的检测结果。然后,使用 NMS 将该检测结果与 Pseudo Labels Memory 中同一张图片的相应历史伪标注融合,得到最终的伪标签。对于每一个 student ROI head,使用的伪标签分别融合自另一个 teacher head。

最终损失函数如下:

ddc0bda784954f4cb4978c4564a8784d.png

其中,γ 为非监督损失的权重。

2. Pseudo Labels Fusion

为解决不同训练迭代次数产生的检测结果不稳定的问题,作者设置了 Pseudo Labels Memory 存储历史伪标签,使用 NMS 将历史伪标注与最新的检测结果进行融合和更新。

c5db793b46a24db296b5aef147876260.png

 e24ecf3dfe0f43e0903c9c5fe642ba73.png

3. Interactive Self-Training

为缓解 self-training 可能产生的过拟合问题,作者首先使用带标签的数据训练带有两个不同结构 ROI Heads 的检测模型,之后再分别用它们在无标签数据上生成伪标签。两个 ROI Heads 可以互相为对方提供有用的互补信息。

另外,作者使用 DropBlock 模块确保不同的 ROI Head 能够获得不同的关键信息,增加两个 ROI Heads 检测结果的差异性。

3986c0ed134b4a3ca678a685cce5389e.png

4. Mean Teacher

为了避免两个 ROI Heads 互相模仿,从而无法独立收敛,同时也为了保证产生的伪标签的稳定性,作者引入了 mean teacher 方法,即教师参数是相应学生参数的移动平均。

9f609ba183d54618a4961d0972edbb93.png

2b509e9898c34c39b4fd63680578a747.png

如上图,“Teacher ROI Head 1” 是 “Student ROI Head 1” 的指数移动平均(EMA),它为“Student ROI Head 2” 提供伪标签;随后,最新的检测结果将与历史伪标注融合。

Unbiased Teacher

Unbiased Teacher for Semi-Supervised Object Detection

动机

针对此前的半监督目标检测(SSOD)任务,作者主要关注的问题是:

目标检测领域所固有的类别不平衡问题,使得在半监督学习(SSL)情境下训练出的模型做出的预测往往是 biased,而 SSOD 领域普遍采用的伪标签方法进一步加剧了这一问题;此外,在标签数据不足时,目标检测任务往往存在严重的过拟合问题,如 RPN 前景和背景的分类,ROIhead 的多类别分类(不包括预测框回归)。

1. Overview

6283d3cbef9646aa99267d08516710a7.png

与此前的 SSOD 模型相似,Unbiased Teacher 也使用带 FPN 的 Faster R-CNN,以 Res-Net50 作为主干网络。

模型主要分为两个阶段:

1) Burn-In Stage

使用监督数据进行预训练,初始化模型。

2)Teacher-Student Mutual Learning Stage

使用教师-学生训练模式,首先将初始化参数分别复制给教师模型和学生模型。

Student Learning:利用教师模型生成伪标签,在此基础上训练学生。教师模型的数据采用弱增广,学生模型的数据采用强增广;

Teacher Refinement:使用学生模型参数的指数移动平均(EMA)更新教师模型,稳定地提升伪标签质量。

2. Burn-In

使用带标签数据对模型进行预训练。

86480b6603094cc0b5ff953d1e163d0d.png

3. Teacher-Student Mutual Learning

作者使用的是比较典型的 mean teacher 方法,即采用教师-学生模型共同训练的方式,以及强-弱增广方法,弱增广数据(random horizontal flip)输入教师模型用于生成伪标签,强增广(randomly add color jittering, grayscale, Gaussian blur, and cutout patches)用于训练学生模型。在此基础上,使用学生模型参数的 EMA 更新教师模型,以稳定提升伪标签质量。

比较不同的是,作者认为用以筛选伪标签的置信度阈值只与预测目标的分类有关,而与预测框位置的质量无关,所以作者不对无标签数据计算预测框回归损失,只计算分类损失

3e06992106e94553a828f7bf88429da1.png

9e8255e030a14c0996d7be18ddc2c6fe.png

4. Bias in Pseudo-Label

为解决 SSOD 存在的类别不平衡问题,作者将 交叉熵损失 替换为 多类别 Focal Loss,用于优化 ROIhead 的分类损失,使得模型可以专注于稀有类别和难例样本。

此外,作者认为, EMA 训练所具有的 “conservative property” 也有助于改善类别不平衡问题:

82714052bb1044cbbb023db2f7b533ec.png

参考资料:半监督目标检测(Semi-Supervised Object Detection,SSOD)相关方法介绍 - 知乎

半监督目标检测研究进展 - 知乎

  • 1
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
半监督目标检测是指在目标检测任务中,利用有标注和无标注的数据进行模型训练的一种方法。以下是半监督目标检测的发展历程: 1. 传统目标检测方法:早期的目标检测方法主要基于传统的机器学习算法,如SVM、HOG等。这些方法需要大量标注数据进行训练,且对于不同类别的目标需要手动设计特征。 2. 弱监督目标检测:为了减少标注数据的需求,研究者开始探索弱监督目标检测方法。这些方法利用只有图像级别标签的数据进行训练,如图像级别标签表示图像中是否包含目标。但是由于缺乏目标位置信息,这些方法的性能较低。 3. 半监督目标检测:随着深度学习的兴起,研究者开始将其应用于半监督目标检测任务中。半监督目标检测方法利用有标注和无标注的数据进行训练,通过在有标注数据上进行监督学习,同时在无标注数据上进行自监督学习或者生成伪标签,从而提高模型性能。 4. 自监督学习:自监督学习是半监督目标检测中常用的方法之一。它通过在无标注数据上设计任务,如图像重建、图像旋转等,从而生成伪标签进行训练。自监督学习可以有效利用大量无标注数据,提高模型性能。 5. 生成模型:生成模型也是半监督目标检测中的一种重要方法。生成模型通过学习数据的分布,生成新的样本,并利用这些生成的样本进行训练。生成模型可以扩充有标注数据,提高模型的泛化能力。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值