文章分享《Supervised Contrastive Learning》 自监督对比学习和有监督对比学习的区别

文章题目 Supervised Contrastive Learning

作者:

  • Prannay Khosla
  • Piotr Teterwak
  • Chen Wang
  • Aaron Sarna

时间:2020
会议:NeurIPS


文章的主要思想

文中的一张图很清楚明了的表明了自监督对比学习与有监督对比学习的区别。自监督的对比学习中,一个样本对应着data augmentation一个正样本和多个负样本,以往的关于对比学习的研究中,也是热衷于不断增加负样本的数量来提高模型的表征能力;有监督的对比学习,将同一类的样本(这样就已知标签,所以叫做有监督的对比学习)都作为正样本,不同类的样本多作为负样本。
在这里插入图片描述

文章的主要贡献

正如文中所说,这就是的自监督对比学习的损失函数在有监督的对比学习中不能适用,它不能处理由于标签的存在而已知有多于一个样本(一个样本对应着多个正样本)属于同一类别的情况。
在这里插入图片描述

因此文中设计了两种针对有监督对比学习的损失函数。根据公式可以这样理解,仍然默认一个样本对应一个正样本,将其按照自监督对比损失的方法计算,然后再计算这个样本与另一个正样本的对比损失,直到计算完所有的样本的对比损失。公式out与公式in的区别在于平均是在取log前还是在log后,文章中竟然在两种方法上做出了差别,并给出了公式证明(所以说,想发好的期刊会议公式证明必不可少)。
在这里插入图片描述

本文最后

文章后面的内容都是实验与结果了,快速阅读时就不细致看了,当想学习如何写作和做实验时可以详细阅读,现在以快速接受为主。

  • 3
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值