SimSiam：Exploring Simple Siamese Representation Learning

       Siamese网络最大化了一个图像的两个增强之间的相似性，服从于避免崩溃解的某些条件。在本文中，SimSiam即使 不使用以下任何一项也可以学习有意义的表示:(i)负样本对，(ii)大批量，(iii)动量编码器。我们的实验表明，停止梯度stop-gradient 运算在防止崩塌中起着重要作用。

       Siamese 网络是应用于两个或多个输入的  权重共享 神经网络。它们是  比较(包括但不限于“对比”)实体的自然工具。最近的方法将输入定义为一幅图像的两个增强，并根据不同的条件  最大化相似性。我们的模型直接最大化了一张图像的两个增强视图的相似性， 既不使用负对，也不使用动量编码器。 它适用于典型的批量大小，不依赖于大批量训练。停止梯度操作（图 1）对于防止崩溃解决方案至关重要。我们假设隐含着两组变量，而 SimSiam 的行为就像在优化每组变量之间交替进行。权重共享的Siamese网络可以对关于更复杂的转换（例如，增强）的 不变性 进行建模。

       在实践中， 对比学习方法受益于大量的负样本[34,33,17,8]。这些样本可以保存在记忆库memory bank中[34]。在 Siamese 网络中，