自监督学习-对比学习-MoCo Momentum Contrast 阅读笔记
MOCO用于无监督表征学习。我们从另外一个角度来理解对比学习,即从一个字典查询的角度来理解对比学习。moco中建立一个动态的字典,这个字典由两个部分组成一个队列queue和一个移动平均的编码器moving-averagedencoder。这两个东西造就了一个更大的和更一致consistent的字典,对无监督的对比学习有很大的帮助。(队列中的样本不需要做梯度反传,因此可以在队列中存储很多负样本,从而使这个字典可以变得很大。......
原创
2022-07-21 05:24:37 ·
2766 阅读 ·
2 评论