类感知对比半监督学习(Class-Aware Contrastive Semi-Supervised Learning)论文阅读笔记-CSDN博客

本文链接：https://blog.csdn.net/Remoa_Dengqinyi/article/details/124526752

文献地址：论文链接，Github代码：Github链接

1 研究背景

现有基于伪标签的半监督学习方法存在的问题：

伪标签 → 存在确认偏差（Confirmation Bias）
分布外噪声数据 → 影响模型的判别能力
是否存在一种通用增益方法，可适用于各基于伪标签的半监督方法？
- MixMatch[1](NIPS, 2019)：数据Mixup → 预测锐化（Sharpen）
- FixMatch[2](NIPS, 2020)：置信度阈值，弱增强 → 生成伪标签 → 监督强增强

提出一套缓解确认偏差（Confirmation Bias）的通用架构：
- 对于可靠的分布内数据（In-distribution Data）：使用有监督对比学习。
  - 分布内数据：指无标记数据集不包含新类别，或具有平衡的数据分布的数据。
- 对于存在噪声的分布外数据（Out-of-distribution Data）：对特征进行无监督对比学习。
  - 分布外数据：指无标记数据集包含未知类别，或具有不平衡的数据分布的数据。
针对伪标签存在的噪声问题：进行权重分配。

整体架构目标：最小化相似性矩阵（Feature Affinity）和目标矩阵（Target Matrix）之间的有监督对比损失 $L_{con}$ ，无标签的强增强样本与弱增强样本生成的伪标签之间的交叉熵损失 $L_{u}$ ，以及有标签样本的交叉熵损失 $L_{x}$ 。即 $\mathcal{L}=\mathcal{L}_{x}+\lambda_{u} \mathcal{L}_{u}+\lambda_{c} \mathcal{L}_{c}$ 。
对于有标签样本：采用图像的弱增强视图进行有监督学习，优化交叉熵损失。
- 通过预测层（Cls Head），计算交叉熵损失： $\ell_{sup}=\frac{1}{B} \sum_{i=1}^{B} \mathrm{H}\left(y_{i}, P_{{cls}}\left( Aug_{w}\left(x_{i}\right)\right)\right)$
- 输入： $\mathcal{X}=\left\{\left(x_{i}, y_{i}\right): i \in(1, \ldots, B)\right\}$ ，其中 $x_{i}$ 为第 $i$ 张图片， $y_{i}$ 为该图片对应的 $one-hot$ 向量， $B$ 为采样的一个批量大小。
- 输出： $p_{m}\left ( y|x \right )$ ，模型对输入 $x$ 产生的预测类别分布。