BYOL论文笔记(Bootstrap Your Own Latent A New Approach to Self-Supervised Learning)
一、基本架构
二、BYOL实现细节
数据增强:使用在SimCLR中同样的一系列数据增强,包括随机水平翻转、颜色扰动、高斯模糊等。
网络架构:使用resnet50、resnet50(1x)作为基本的编码器,使用两层的MLP作为online和target网络的投影器(2048-4096,4096-256),预测层和投影层使用同样的结构。
优化:使用Lars优化器,1000epoches, batch size of 4096, 使用 512 Cloud TPU v3 cores
三、评估和消融实验