MoBy解析(Self-Supervised Learning with Swin Transformers)
摘要:
该对比学习的方法选用swin-transformer作为编码器backbone,并且组合了MoCo v2(动量编码器)以及BYOL(batch normalization以及predict头)。该组合的结果经过作者的实验,在使用一些策略后可以超越利用DieT做为backbone(基于transformer)的MoCo v3以及DINO。
引言:
首先,文章回顾了在对比学习以及视觉领域的先锋工作者,首次将对比学习定义为字典查询问题的MoCo,首先将Transformer引入视觉领域的ViT,以及
原创
2022-05-04 22:50:59 ·
1426 阅读 ·
0 评论