Core-tuning 论文阅读

Core-tuning 论文阅读

介绍

论文地址Unleashing the Power of Contrastive Self-Supervised Visual Models via Contrast-Regularized Fine-Tuning

Core-tuning是一种contrast-regularized tuning的方法，应用于自监督网络finetune

基本思想

使用优化supervised contrastive loss，有利于模型在finetune中得到更好的优化和学习到更好的类区分表达能力

于是作者基于cross-entropy方法进行改进，把对比学习的思想也融入到自监督loss的优化计算中。

先前方法不足

单纯使用cross-entropy，虽然可以分离不同类之间的特征，但在下游任务进行finetune时，不能很好地减少pretrained model已学习到的类之间区分特征的影响。如图，是对Resnet18学习的特征可视化

创新点

通过features mixup 策略，Core-tuning可以生成hard smaple pairs来提高计算效能

同时平滑决策边界，提高了模型的泛化能力

优点

一，在cross-entropy可以学习到不错的类之间区分能力的基础上，增加了额外的正则化。使得模型可以学到每个类的low-entropy feature cluster和high-entropy feature space，即同类聚集程度高，不同类间分离度大

二，优化contrastive loss可以比单纯使用cross-entropy收敛到更小的值，增加了额外的优化性能

方法与实现

Contrastive Loss

给定一个样本特征$z_i$作为anchor，$A_i$为anchor$z_i$集合，将与anchor同类的作为positive pairs，集合记为$P_i$，不同类的作为negative pairs，所有特征经过$l_2-normalized$
$$L_{con}=-\frac{1}{n|P_i|}\sum _{i=1}^n\sum _{z_j\in P_i}log\frac{e^{(z_i^T{z}_j/\tau )}}{{\sum }_{z_k\in A_i}{e}^{z_i^T{z}_k/\tau }}$$
Regularization Effect

最小化$H(Z|Y)$有利于学习每个类的low-entropy feature cluster，即提高类的聚合度，最大化$H(Z)$有利于学习high-entropy feature space，提高类之间的分离度，如图四

Optimization Effect

由于Y是Label，因此$H(Y)$可以看做一个参数忽略。因此，最小化$L_{con}$，便是最小化$ConditionalCE$，提高优化性能

Contrast-Regularized Tuning

通过features mixup 策略，Core-tuning可以生成hard smaple pairs来提高计算效能，$L_{con}^f$，由$L_{con}$改进，提高了hard positive samples学习的权重

通过features mixup 策略，分类器训练$L_{ce}^m$可以学习到更加平滑的决策边界

Mixing hard positive pairs

通过计算余弦相似度来选择hardest positive data和hardest negative data

$z^{hp}$在正样本里与anchor相似度最低，$z^{hn}$在负样本里与anchor相似度最高

合集记为 B + = { z i + } i = 1 n B^+ = \{ z^{+}_{i}\}^{n}_{i=1} B+={zi+​}i=1n​

Mixing hard negative pairs

随机选择一个负样本

合集记为 B − = { ( z i − , y i − ) } i = 1 n B^- = \{ (z^{-}_{i}, y^{-}_{i})\}^{n}_{i=1} B−={(zi−​,yi−​)}i=1n​

Hard Positive Reweighting

作者认为，hard positives 在对比学习中包含更多有用的信息，因此提高相应的权重

Smooth Classifier Learning

实验

性能评估

由于目前还没有其它应用于自监督finetune的loss计算方法，作者将cross-entropy在supervised上的finetune作为baseline，其它在supervised上finetune的方法应用于自监督作为参考

实验证明，Core-tuning在自监督上可以取得不错的成绩

消融实验

不同模型和训练集

模型复杂度

$\eta 和\alpha$的敏感度