【论文翻译】BYOL A New Approach to Self-Supervised Learning

标题：BYOL 一种新的自监督学习方法

摘要

我们介绍BYOL，一种新的自监督图像表示学习的方法。BYOL依赖于两个神经网络，称为在线和目标网络，它们相互作用并相互学习。从图像的增强视图，我们训练在线网络来预测同一图像在不同增强视图下的目标网络表示。同时，我们用在线网络的缓慢移动平均值来更新目标网络。虽然最先进的方法本质上依赖于负样本对，但BYOL在没有负样本对的情况下达到了一个新的水平。使用标准线性评估协议和ResNet-50架构，BYOL在ImageNet上达到74.3%的top-1分类准确率，而使用更大的ResNet时达到79.6%。我们表明，BYOL在 transfer和半监督基准上的表现与目前的技术水平相当或更好。

1 介绍

学习良好的图像表示是计算机视觉的一个关键挑战[1，2，3]，因为它允许对下游任务进行有效的训练[4，5，6，7]。已经提出了许多不同的训练方法来学习这种表示，通常依赖于视觉前置任务 pretext task。其中，最先进的对比方法[8，9，10，11，12]是通过减小同一图像的不同增强视图的表示之间的距离(“正样本对”)和增加来自不同图像的增强视图的表示之间的距离(“负样本对”)来训练的。这些方法需要通过依赖大批量[8，12]，记忆库[9]或定制挖掘策略[14，15]来检索负对，从而仔细处理负对[13]。此外，它们的性能主要取决于图像增强的选择[8，12]。

在这篇文章中，我们介绍了BYOL，一种新的自监督图像表示学习的方法。在不使用负样本对的情况下，BYOL获得了比最先进的对比方法更高的性能。它反复引导网络的输出作为增强表示的目标。此外，与对比方法相比，BYOL对图像增强的选择具鲁棒性；我们怀疑，不依赖负对是其鲁棒性提高的主要原因之一。虽然以前基于自举的方法使用伪标签或聚类索引[16，17]作为目标，但我们建议直接自举表示。特别是，BYOL使用两个神经网络，称为在线和目标网络，相互作用和相互学习。从图像的增强视图开始，BYOL训练其在线网络来预测同一图像的另一增强视图的目标网络表示。即使这个问题可能遇到以外的结果，例如，对所有图像输出零，我们根据经验表明，使用在线网络的缓慢移动平均值作为目标网络足以避免这种崩溃到无效解。

我们使用ResNet架构评估了BYOL在ImageNet [18]和其他视觉基准上所学的表现[19]。在ImageNet上的线性评估协议下，包括在冻结表示之上训练线性分类器，BYOL在标准ResNet-50上达到74.3%的top-1精度，在更大的ResNet上达到79.6%的top-1精度(图1)。在ImageNet的半监督和 transfer设置中，我们获得了与当前技术水平相当或更好的结果。我们的贡献是:(1)我们引入了BYOL，一种自监督的表示学习方法(第3节)，它在不使用负对的情况下，在ImageNet上的线性评估协议下获得最先进的结果。(二)我们表明，在半监督和 transfer基准测试中，我们所学的表现优于最先进的水平(第4节)。(三)我们表明，与对比对手相比，BYOL对批量和图像增强集的变化更有弹性(第5节)。特别是，当仅使用随机裁剪作为图像增强时，BYOL的性能下降比强对比基线SimCLR小得多。

图1:使用ResNet-50和我们的最佳体系结构ResNet-200 (2X)在ImageNet上的BYOL性能(线性评估)，与其他无监督和有监督的(sup.)基线[8]相比较。

2 相关工作

大多数无监督的表示学习方法可以分为生成式或区分式[20，8]。表示学习的生成式方法在数据和潜在嵌入上建立分布，并将学习到的嵌入用作图像表示。这些方法中的许多依赖于图像的自动编码[21，22，23]或对抗学习[24]，联合建模数据和表示[25，26，27，28]。生成式方法通常直接在像素空间中操作。然而，这在计算上是昂贵的，并且图像生成所需的高水平细节对于表示学习可能不是必需的。

在鉴别方法中，对比方法[9，10，29，30，31，11，32，33]目前在自监督学习[34，8，12]中取得了最先进的表现。对比方法通过使同一图像的不同视图的表示更接近(“正对”)，并将来自不同图像的视图的表示分开(“负对”)，避免了像素空间中昂贵的生成步骤[35，36]。对比方法通常需要将每个例子与许多其他例子进行比较才能很好地工作[9，8]，这就提出了使用否定对是否必要的问题。DeepCluster [17]部分回答了这个问题。它在其表示的先前版本上使用引导来产生下一个表示的目标；它使用先前表示对数据点进行聚类，并使用每个样本的聚类索引作为新表示的分类目标。在避免使用负对的同时，这需要昂贵的聚类阶段和特定的预防措施，以避免陷入这种无效解。

一些自我监督的方法不是对比的，而是依赖于使用辅助的手工预测任务来学习它们的表示。特别是，相对补片预测[20，36]，彩色灰度图像[37，38]，图像修补[39]，图像拼图[40]，图像超分辨率[41]，和几何变换[42，43]已被证明是有用的。然而，即使有合适的体系结构[44]，这些方法也被对比方法[34，8，12]所超越。

我们的方法与自举延迟预测(PBL[45])有一些相似之处，自举延迟预测是一种用于强化学习的自监督表征学习技术。PBL联合训练代理的历史表现和未来观察的编码。观察编码被用作训练代理的表示的目标，而代理的表示被用作训练观察编码的目标。与PBL不同，BYOL使用其代表的缓慢移动平均值来提供其目