【论文阅读】SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised Learning

论文下载
GitHub
bib:

@INPROCEEDINGS{chen2023softmatch,
	 title		= {SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised Learning},
	 author	    = {Hao Chen and Ran Tao and Yue Fan and Yidong Wang and Jindong Wang and Bernt Schiele and Xing Xie and Bhiksha Raj and Marios Savvides},
	 booktitle	= {ICLR},
	 year		= {2023},
	 pages      = {1--21}
}

1. 摘要

The critical challenge of Semi-Supervised Learning (SSL) is how to effectively leverage the limited labeled data and massive unlabeled data to improve the model’s generalization performance.

In this paper, we first revisit the popular pseudo-labeling methods via a unified sample weighting formulation and demonstrate the inherent quantity-quality trade-off problem of pseudo-labeling with thresholding, which may prohibit learning.

本文首先通过一个统一的样本加权公式，回顾了流行的伪标记方法，并证明了带阈值的伪标记固有的数量-质量权衡问题，该问题可能会禁止学习。

To this end, we propose SoftMatch to overcome the trade-off by maintaining both high quantity and high quality of pseudo-labels during training, effectively exploiting the unlabeled data.

为此，我们提出了软匹配算法，通过在训练过程中保持大量和高质量的伪标签，有效地利用未标记的数据来克服这种折衷。

We derive a truncated Gaussian function to weight samples based on their confidence, which can be viewed as a soft version of the confidence threshold.

我们推导了一个截断的高斯函数来根据样本的置信度对样本进行加权，这可以被看作是控制阈值的一个软版本。

We further enhance the utilization of weakly-learned classes by proposing a uniform alignment approach.

一个Trick。

In experiments, SoftMatch shows substantial improvements across a wide variety of benchmarks, including image, text, and imbalanced classification.

note：

• 本文是半监督match方法，本质就结合伪标签和一致性正则的半监督算法。有众多的match方法一步步刷新半监督算法表现榜单，这个是2023的match方法。
• 从摘要中可以得知，SoftMatch主要是针对伪标签的数量和质量的权衡，正所谓鱼与熊掌不可兼得，本文就是针对这个问题得到一个折中方案。

2. 算法描述

2.1 符号表

符号	含义
D L = { x i l , y i l } i = 1 N L D_L = \{\mathbf{x}^l_i, y_i^l\}_{i=1}^{N_L} DL​={xil​,yil​}i=1NL​​	有标记数据
D U = { x i u } i = 1 N U D_U = \{\mathbf{x}_i^u\}_{i=1}^{N_U} DU​={xiu​}i=1NU​​	有标记数据
$N_L=|D_L|$	有标记数据数量
$N_U=|D_U|$	无标记数据数量
${\mathbf{x}}_i^l,{\mathbf{x}}_i^u\in {\mathbb{R}}^d$	d维度的训练样本（有标记样本和无标记样本）
y i l ∈ { 1 ， 2 ， … , C } y_i^l \in \{1，2，\dots, C\} yil​∈{1，2，…,C}	有标记数据标签
$C$	C-class classfication
$p(\mathbf{y}|\mathbf{x})\in {\mathbb{R}}^C$	model prediction
$\mathcal{H}$	cross-entropy loss
$B_L$	有标记数据的batch size
$B_U$	无标记数据的batch size
${\mathcal{L}}_s$	有监督损失
${\mathcal{L}}_u$	无监督损失
$\Omega ({\mathbf{x}}^u)$	强增强
$\omega ({\mathbf{x}}^u)$	弱增强
$\mathbf{p}=p(\mathbf{y}|\omega ({\mathbf{x}}^u))$	$\mathbf{p}$是模型对于弱增强无标记数据的预测简写
$\hat{\mathbf{p}}=\mathrm{argmax}(\mathbf{p})$	伪标签
λ ( p ) ∈ { x ∣ 0 ≤ x ≤ λ m a x } \lambda(\mathbf{p}) \in \{x| 0 \leq x \leq \lambda_{max}\} λ(p)∈{x∣0≤x≤λmax​}	权重函数，值域$[0,{\lambda }_{max}]$

损失函数

$$\mathcal{L}={\mathcal{L}}_s+{\mathcal{L}}_u\text{\hspace{1em}(1)}$$
损失函数由两部分组成，有监督损失${\mathcal{L}}_s$和无监督损失${\mathcal{L}}_u$。顾名思义，有监督损失就是在有标记样本上计算的损失，而无监督损失是在无标记数据上计算的损失。

$${\mathcal{L}}_s=\frac{1}{B_L}\sum _{i=1}^{B_L}\mathcal{H}(y_i,p(\mathbf{y}|{\mathbf{x}}_i^l))\text{\hspace{1em}(2)}$$

$${\mathcal{L}}_u=\frac{1}{B_U}\sum _{i=1}^{B_U}\lambda ({\mathbf{p}}_i)\mathcal{H}({\hat{\mathbf{p}}}_i,\mathbf{p}(\mathbf{y}|\Omega ({\mathbf{x}}_i^u))\text{\hspace{1em}(3)}$$

伪标签数量（Quantity）
$$f(\mathbf{p})={\mathbb{E}}_{D_U}[\lambda (\mathbf{p})]\in [0,{\lambda }_{max}]\text{\hspace{1em}(4)}$$

伪标签质量（Quality）
$$g(\mathbf{p})=\sum _{i=0}^{N_U}\mathbb{I}(\hat{\mathbf{p}}=y_i^u)\frac{\lambda ({\mathbf{p}}_i)}{{\sum }_j^{N_U}\lambda ({\mathbf{p}}_j)}={\mathbb{E}}_{\overline{\lambda }(\mathbf{p})}[\mathbb{I}(\hat{\mathbf{p}}={\mathbf{y}}^u]\in [0,1]\text{\hspace{1em}(4)}$$

Note:
$\overline{\lambda }(\mathbf{p})=\frac{\lambda (\mathbf{p})}{\sum \lambda (\mathbf{p})}$ 是 $\mathbf{p}$ 的概率质量函数（probability mass function），接近于${\mathbf{y}}_u$（这里应该是说接近于正式的概率质量函数，一般来说，为了类之间的平衡，每个类的概率质量应该是相等的）。

Quantity-Quality Trade-off:
$$\lambda (\mathbf{p})=\{\begin{array}{rlr}{\lambda }_{max}\exp -\frac{(\max (\mathbf{p})-{\mu }_t{)}^2}{2{\sigma }_t^2},& & \text{if }\max (\mathbf{p})<{\mu }_t;\\ {\lambda }_{max},& & \text{otherwise.}\end{array}$$

Note:
SoftMatch中的soft就体现在$\lambda (\mathbf{p})$的值是连续的，自信的伪标签对应的值越大，越不自信的伪标签对应越小的值。naive 伪标签算法中就是hard的，只有取用和为取用两个值，是离散的。

细节：
$${\hat{\mu }}_b={\hat{\mathbb{E}}}_{B_U}[\max (\mathbf{p})]=\frac{1}{B_U}\sum _{i=0}^{B_U}\max (\mathbf{p})$$
$${\hat{\sigma }}_b^2={\widehat{Var}}_{B_U}[\max (\mathbf{p})]=\frac{1}{B_U}\sum _{i=0}^{B_U}(\max (\mathbf{p})-{\mu }_b{)}^2$$

EMA Update
$${\hat{\mu }}_t=m{\hat{\mu }}_{t-1}+(1-m){\hat{\mu }}_b$$
$${\hat{\sigma }}_t^2=m{\hat{\sigma }}_{t-1}^2+(1-m)\frac{B_U}{B_U-1}{\hat{\sigma }}_b^2$$

Uniform Alignment
减轻不平衡的问题。

3. 总结

soft体现在element-wise weight function，这一点并不是一个新的思想（Self-Paced learning）。本文从伪标签出发，探讨数量-质量权衡的角度出发，引出soft weight function，这是主要的贡献。

本文没有针对每个类设置一个阈值，隐含假设每个类预测难度相似，这一定可以进一步的拓展。