Big Self-Supervised Models are Strong Semi-Supervised Learners论文研读
目录论文摘要方法介绍自监督的预训练finetune自训练和压缩经验性探究实验与实施的细节网络越大越是能够有效利用标签更大/更深的projection head能够提升特征表达的学习使用无标注的数据能够提升弱监督学习讨论
论文
摘要
本文针对深度学习中数据集标签不平衡的问题,即大量的未标注数据和少量标注数据,作者提出了一种弱监督的模型SimCLRv2(基于SimCLRv1)。作者认为这种庞大的、极深的网络更能够在自监督的学习中获得提升。论文中的思想可以总结为一下三步:
1. 使用ResNet作为backbon
原创
2020-07-29 17:29:43 ·
2231 阅读 ·
0 评论