Core-tuning 论文阅读
介绍
Core-tuning是一种contrast-regularized tuning的方法,应用于自监督网络finetune
基本思想
使用优化supervised contrastive loss,有利于模型在finetune中得到更好的优化和学习到更好的类区分表达能力
于是作者基于cross-entropy方法进行改进,把对比学习的思想也融入到自监督loss的优化计算中。
先前方法不足
单纯使用cross-entropy,虽然可以分离不同类之间的特征,但在下游任务进行finetune时,不能很好地减少pretrained model已学习到的类之间区分特征的影响。如图,是对Resnet18学习的特征可视化
创新点
通过features mixup 策略,Core-tuning可以生成hard smaple pairs来提高计算效能
同时平滑决策边界,提高了模型的泛化能力
优点
一,在cross-entropy可以学习到不错的类之间区分能力的基础上,增加了额外的正则化。使得模型可以学到每个类的low-entropy feature cluster和high-entropy feature space,即同类聚集程度高,不同类间分离度大
二,优化contrastive loss可以比单纯使用cross-entropy收敛到更小的值,增加了额外的优化性能
方法与实现
Contrastive Loss
给定一个样本特征
z
i
z_i
zi作为anchor,
A
i
A_i
Ai为anchor
z
i
z_i
zi集合,将与anchor同类的作为positive pairs,集合记为
P
i
P_i
Pi,不同类的作为negative pairs,所有特征经过
l
2
−
n
o
r
m
a
l
i
z
e
d
l_2-normalized
l2−normalized
L
c
o
n
=
−
1
n
∣
P
i
∣
∑
i
=
1
n
∑
z
j
∈
P
i
l
o
g
e
(
z
i
T
z
j
/
τ
)
∑
z
k
∈
A
i
e
z
i
T
z
k
/
τ
L_{con}=-\frac{1}{n|P_i|}\sum^{n}_{i=1}\sum_{z_j\in P_i}log\frac{e^{(z^T_iz_j/\tau)}}{\sum_{z_k\in A_i}e^{z^T_iz_k/\tau}}
Lcon=−n∣Pi∣1i=1∑nzj∈Pi∑log∑zk∈AieziTzk/τe(ziTzj/τ)
Regularization Effect
最小化 H ( Z ∣ Y ) H(Z|Y) H(Z∣Y)有利于学习每个类的low-entropy feature cluster,即提高类的聚合度,最大化 H ( Z ) H(Z) H(Z)有利于学习high-entropy feature space,提高类之间的分离度,如图四
Optimization Effect
由于Y是Label,因此 H ( Y ) H(Y) H(Y)可以看做一个参数忽略。因此,最小化 L c o n L_{con} Lcon,便是最小化 C o n d i t i o n a l C E Conditional CE ConditionalCE,提高优化性能
Contrast-Regularized Tuning
通过features mixup 策略,Core-tuning可以生成hard smaple pairs来提高计算效能, L c o n f L^f_{con} Lconf,由 L c o n L_{con} Lcon改进,提高了hard positive samples学习的权重
通过features mixup 策略,分类器训练 L c e m L_{ce}^{m} Lcem可以学习到更加平滑的决策边界
Mixing hard positive pairs
通过计算余弦相似度来选择hardest positive data和hardest negative data
z h p z^{hp} zhp在正样本里与anchor相似度最低, z h n z^{hn} zhn在负样本里与anchor相似度最高
合集记为 B + = { z i + } i = 1 n B^+ = \{ z^{+}_{i}\}^{n}_{i=1} B+={zi+}i=1n
Mixing hard negative pairs
随机选择一个负样本
合集记为 B − = { ( z i − , y i − ) } i = 1 n B^- = \{ (z^{-}_{i}, y^{-}_{i})\}^{n}_{i=1} B−={(zi−,yi−)}i=1n
Hard Positive Reweighting
作者认为,hard positives 在对比学习中包含更多有用的信息,因此提高相应的权重
Smooth Classifier Learning
实验
性能评估
由于目前还没有其它应用于自监督finetune的loss计算方法,作者将cross-entropy在supervised上的finetune作为baseline,其它在supervised上finetune的方法应用于自监督作为参考
实验证明,Core-tuning在自监督上可以取得不错的成绩
消融实验
不同模型和训练集
模型复杂度
η 和 α \eta和\alpha η和α的敏感度