模型意识对比学习:摆脱训练中的一致性-容忍度困境

论文出处：

ICML2023 Model-Aware Contrastive Learning: Towards Escaping Uniformity-Tolerance Dilemma in Training

什么是uniformity-tolerance困境？

温度参数 τ 的设置会影响模型性能

• 如果 τ 太小，模型会对训练不足的阶段施加过大的惩罚，导致难以区分潜在阳性样本，虽然模型的均匀性会变好但是容忍性会下降
• 如果 τ 太大，有助于探索语义结构，对潜在阳性样本的容忍度增加，但是均匀性会下降

体现在公式上：负样本xj上的惩罚权重分布为Pij，fi和gj​是样本的特征表示，K是正样本的数量，τ是温度参数，此公式表明，对于每个负样本，其惩罚权重取决于它与某个正样本之间的相似度（由特征表示的点积计算得出），并且所有负样本的惩罚权重之和归一化

显然，它有温度系数控制

• 随着温度系数减小，整个式子形状会变得更加尖锐，这意味着较小的温度会对高相似区域造成较大的惩罚，这促进嵌入的均匀性，但对潜在正样本的容忍性减小
• 随着温度系数增大，式子形状更平坦，倾向与给所有负样本相同大小惩罚，优化过程对LPs的容忍性更强，而对均匀性的关注较少

简单来说，这个困境意味着如果我们太注重让嵌入空间保持一致（即每个样本的表示都相似），可能会牺牲掉区分不同类别的能力；而如果我们太注重区分不同类别，又可能使得嵌入空间不够一致。

怎么解决uniformity-tolerance困境？

采用MACL模型，根据模型在训练过程的对齐程度来动态调整温度参数