AI之路

论文：Bootstrap your own latent A new approach to self-supervised Learning链接：https://arxiv.org/abs/2006.07733代码：https://github.com/deepmind/deepmind-research/tree/master/byolBYOL发表于NIPS2020，个人觉得是非常棒的一个工作，相信对未来的自监督领域发展会有较大的借鉴意义。在讲这篇论文之前，先从自监督训练的崩塌问题开始说起。我们

论文：Big Self-Supervised Models are Strong Semi-Supervised Learners链接：https://arxiv.org/abs/2006.10029这篇是发表于NIPS2020的SimCLR V2，有非常漂亮的结果。流程是这样的（参考Figure3）：先在一个无标签数据集上做自监督训练，这部分其实和SimCLR没有太大区别，就是对网络复杂度和非线性变换层做了调整，但是效果大增；然后在一个有标签的小数据集上做fine tune；最后将fine tune