DASO: Distribution-Aware Semantics-Oriented Pseudo-Label for Imbalanced Semi-Supervised Learning
要点:
1、传统的半监督学习:类不平衡、标记数据与未标记数据之间的类分布不匹配,导致伪标签的严重偏差
2、新的通用伪标记框架 —— DASO
(a)通用的伪标记框架,将 “基于相似性的分类器中的语义伪标签” 与 “线性分类器中的线性伪标签” 进行类自适应混合
(b)两种伪标签在偏向性方面具有互补特性
(c)引入新的语义对齐损失来建立平衡的特征表示,以减小分类器的偏差预测
相关工作
类不平衡学习 Class-imbalanced learning:
1、现实世界动态特性的数据集:类不平衡、长尾分布
2、深度学习不能很好地泛化到罕见的类
3、传统方法:重采样、代价敏感的重加权、表示和分类的解耦
4、近期研究:跨类学习专家模型、损失计算阶段对数据分布做重平衡
5、本文方法:关注于减轻半监督学习中由于标签的类不平衡、标记与未标记数据间的分布不匹配而导致的伪标签偏差
半监督学习 SSL:
1、预测偏差
图表:
DASO 框架:
1、混合来自不同分类器的互补伪标签,减小了来自未标记数据的伪标签的总体偏差
2、偏差基于相对伪标签大小计算