weixin_40779727的博客

paperhttps://arxiv.org/abs/2004.11362githubhttps://github.com/HobbitLong/SupContrast个人博客位置http://myhz0606.com/article/SupCon1 Motivation经典的自监督对比学习方法以instance discrimination作为pretext task。在这种方法中，会对batch的图片进行数据增强，以同一图片不同的数据增强为正例，其它作为负例，以自监

虽然在大量数据上训练的vision foundation model提取的embedding具备丰富的high level特征并在图像搜索等业务取得了大量成功，但模型计算的相似性和human perceptual similarity还是有一定的差距。10轮标注后，每一个三元组都有10份标注结果，若当前三元组超过6份标注结果一致，则认为该标注结果可信。通过模型预测和标注的差异来评估模型对human perceptual similarity的对齐程度。表示当前三元组的标注结果。)，参考图片Ref(

来映射到表征空间，再接入一个classifier（也是个全连接层）得到该图片在类别上的概率分布。用这个方法训练，一次训练我们只能得到一种维度的图片表征（如图中是2048维））这篇paper介绍了一个很简单但有效的方法能实现一次训练，获取不同维度的表征提取。不同维度的表征在imagenet1K上linear classification和1-NN的准确率。为了一次训练获得不同维度的图片表征，最简单粗暴的方法就是我们可以用多个。和Classifier进行分片，从而实现不同维度的表征训练。更多实验结果见原论文。

leaderboard排名。