BYOL(Bootstrap your own latent A new approach to self-supervised Learning)算法笔记

Bootstrap your own latent A new approach to self-supervised Learning

引导你自己潜在的自我监督学习的新方法

论文链接：https://arxiv.org/abs/2006.07733
复现代码：https://github.com/HibikiJie/BYOL
\

为什么使用自监督学习

网络更加庞大，难以训练，需要大量的标记数据来监督训练，成本过高。所以需要一种自监督学习，来训练网络，使网络更加泛化。

网络没有预训练，直接使用在自己的标签数据上时，效果可能不会太好，并且收敛也较慢。如果网络能在大规模的数据集上完成自监督训练，只需要训练出它的强特征提取能力，无论是在后续的任务中，是冻结网络权重，还是不冻结权重继续学习有标签数据，网络都是能够提供极强的特征提取能力，并且极大提高网络收敛速度。该方法更多是为网络的迁移学习做准备的，特别是在应对数据量非常少的情况下，如果网络没有一个事先的强特征提取能力，对后续特定学习效果将不会太好，并且也将影响网络泛化性。


\

方法

输入一张图片(input image)，记作 $x$ ，通过两种随机的图像增强策略（记作：$t$，$t^{{}^{\prime }}$），得到两种不同的图片（记作：$v$，$v^{{}^{\prime }}$），但语义内容相同的图片。

再将图片 $v$ 输入网络（ 网络记作$f_{\theta }$，其中网络参数为 $\theta$ ）中，得到这张图片对于网络 $f_{\theta }$ 的一个表示（representation， $y_{\theta }$ ），也就是说是，图片输入网络后，得到的特征图（feature map）为 $y_{\theta }$ 。之后将 $y_{\theta }$ 输入 后续网络（记作 $g_{\theta }$ ），将 $y_{\theta }$ 的特征图投射至一个更加高维的潜在空间，得到输出特征向量 z θ z_{\theta} z