[论文阅读-2023WACV]：Similarity Contrastive Estimation for Self-Supervised Soft Contrastive Learning

Similarity Contrastive Estimation for Self-Supervised Soft Contrastive Learning

Abstract

原文：

• 对比表示学习是一种有效的自监督学习方法，通常基于噪声对比估计（Noise Contrastive Estimation，NCE）。
• 传统方法将同一实例的不同视图作为正样本，与其他实例（负样本）进行对比，但这种方法忽略了实例之间的语义关系。
• SCE提出了一种软对比学习方法，通过估计批次中一个视图的连续分布来推动或拉动实例，基于它们的语义相似性。

实验结果表明，SCE在ImageNet线性评估协议上取得了优异的性能，并且在多个任务上具有很好的泛化能力。

Introduction

引言：
问题背景：
传统的对比学习方法在训练时使用正样本（来自同一实例的不同视图）和负样本（来自其他实例的视图）。然而，这种方法存在一个弱点：它可能将那些实际上与正样本在语义上相似的负样本视为噪声，从而损害了学习到的数据表示的质量。

传统对比学习，一个batch中，只有某图片自己变换出来的作为正样本。这样可能导致其他和本图是同一类的图片被视为负样本。可能会损害特征学习。

本文相较于传统的对比学习方法，不采用同等地位的负样本，而是按照与当前图片的相似程度进行软式加权。

SCE方法介绍：
为了解决这个问题，作者提出了一种新的软对比学习方法，称为 SCE。这种方法不仅对正样本对进行对比，还利用了负样本之间的相似性来推动学习过程。SCE通过计算批次中增强视图之间的“锐化相似性分布”来定义实例之间的关系。

方法细节：

每个批次中的视图都会与一个不同增强的查询视图配对。
目标函数旨在为每个查询视图维持这些关系，并将正样本与其他图像进行对比。
为了生成有意义的分布，SCE维护了一个记忆缓冲区。
实验结果：作者在多个数据集上进行了实验，结果表明 SCE 方法优于其对比学习和关系学习的基线方法 MoCov2 [10] 和 ReSSL [60]。这意味着 SCE 在学习数据表示方面更为有效，特别是在考虑实例间相似性方面。

Related work

SSL（自监督学习）：

• SSL是一种无监督学习方法，数据本身提供监督信号来学习数据的实用表示。
• 成功应用于分类、目标检测等多种应用。
• 设计预文本任务在数据上预训练模型，然后在下游任务上进行微调。

Contrastive Learning

• 对比学习是一种先进的自监督范式，基于噪声对比估计（NCE）。
• 成功的方法依赖于实例判别，通过生成同一张图片的正负样本对来学习视图不变特征。
• 需要大量负样本，提出了多种策略来增强负样本的数量和质量。

Sampler for Contrastive Learning

• 并非所有负样本都同等重要，困难负样本对提高对比学习至关重要。
• 采样困难负样本可以改善表示学习，但如果负样本在语义上与正样本相似，则可能有害，这称为“类别碰撞”问题。
• 提出了多种采样器来缓解这个问题，例如使用最近邻作为正样本的NNCLR。

Contrastive Learning without negatives

• 为了避免类别碰撞问题，提出了多种无需使用负样本的对比学习框架。
• 例如，BYOL训练在线编码器预测动量更新目标编码器的输出，SwAV通过学习原型之间的一致性来强制在线聚类分配。

Regularized Contrastive Learning.

• 通过优化对比目标和考虑实例间相似性的目标来正则化对比学习。
• 例如，CO2添加一致性正则化项来匹配查询和其正的相似性分布。

Relational Learning.

• 对比学习隐式学习实例间的关系，通过优化对齐和匹配先验分布来学习。
• ReSSL通过维护强增强视图和弱增强视图之间的成对相似性一致性来引入显式的关系学习目标。

Methodology

本节内容：
contrastive aspect： MoCo v2
relational aspect： ReSSL

Moco v2的loss：

符号解释:

$N:批次中实例的的数量$
$z_i^1:第一个视图（正样本）中第i个实例的特征表示。$
$z_i^2:第二个视图（正样本）中第i个实例的特征表示。$
$\tau :温度参数用于控制分布的平滑程度，\tau 越大，分布越平滑。$

公式细节

ReSSL

符号解释:

• i 表示当前考虑的实例的索引。
• k 表示与当前实例 i 进行比较的另一个实例的索引。
• 上式中的$1_{i\ne j}$表示一个当满足i不等于j时取1

公式细节：

ReSSL 主要关注不同样本之间的关系。（公式里$i\ne j$）

SCE

SCE loss的另一种表达形式。论文哉拓展材料里写了详细的公式转化和推导过程。可以看到SCE综合了普通对比学习loss对正样本的重视也综合了ReSSL对不同样本关系的重视。

公式推导：

前置：

证明：

证明过程：

把（1）改写成InfoNCE格式。

把（2）拆分成ressl、ceil

Empirical study

λ的变化对Top1准确率的影响。

SCE表现在所有数据集上性能均优于Baseline（Moco、Ressl）。

对Teacher模型使用不对称的弱增强更好。通过损失对称性，非对称数据增强可以改善结果，使用强 α 和强 β 增强可以获得最佳效果。

loss symmetrization操作参考Simsiam。

OVER
1.本文的主要工作就是结合对比学习loss和ReSSLloss，将单纯的硬编码正样本（moco）和之关系不同类关系（ReSSL），变为使用软编码来衡量各个样本之间的关系——软化moco。
2.本文主要参考内容均来自论文原文
3.欢迎批评指正一起学习

[1]Chen X, He K. Exploring simple siamese representation learning[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2021: 15750-15758.
[2]Denize J, Rabarisoa J, Orcesi A, et al. Similarity contrastive estimation for self-supervised soft contrastive learning[C]//Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. 2023: 2706-2716.