【对比学习】Momentum Contrast for Unsupervised Visual Representation Learning

        本篇论文是一篇采用对比学习的无监督视觉表征学习。对比学习是将数据中的某一个数据及其增广数据作为正样本,剩余数据作为负样本,通过缩小正样本之间的距离,扩大正负样本之间的距离来学习数据特征,为下游任务提供了良好的特征。

        正负样本的选择方法叫做pretext task,为自监督学习提供监督信号,进行自监督训练。文中的pretext task是采用的instance discrimination task,是把数据本身作为基准,数据的一个增广作为正样本,剩余数据作为负样本。

        MOCO是将对比学习看做一个字典查询任务,将数据经过encoder得到特征,query和key的encoder可以是相同的,也可以是不同的,再根据query和key的相似度,来找到query所对应的正样本。字典需要具有large和consistent性质,也就是字典中的key要多,这样能表达丰富的视觉信息,而key应该由相同或者相似的encoder生成。

        为了使训练的batch和字典的大小互不影响,作者采用了一个queue代替字典来存储key,queue是采用先进先出策略,每个batch经过forward得到的特征,存储在队列的最后,最前的batch的特征被移出去,保证了queue的长度一定,文中queue的长度大概是六万多。

        为了使queue中的key具有一致性,采用动量学习方法。文中query和key的encoder的参数初始化是一样的,通过InfoNCE损失函数式(1.1)来更新query对应的encoder的参数,而key所对应的encoder的参数是通过动量来更新的,如式(1.2)所示,m一般设置为0.999,这样可以保证参数变化较小,从而保证queue中的key的一致性。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值