CVPR 2021 Exploring Simple Siamese Representation Learning

从理论与实验角度证实了所提方法的有效性；与此同时，还侧面证实了对比学习方法成功的关键性因素：孪生网络

目前孪生网络已成为无监督视觉表征学习模型的常见结构。这些模型在满足特定条件（避免孪生网络的所有输出都“崩溃”成一个常量）下，最大限度地提高了同一图像的两个放大部分之间的相似性。目前主要存在3种防止孪生网络崩溃的策略：一、对比学习，例如SimCLR，负对相斥，正对相吸，负样本对排除了来自解空间的恒定输出；二、聚类是另一种避免恒定输出的方法，例如SwAV将在线聚类引入孪生网络中。三、除了对比学习和聚类，BYOL仅依赖正样本对，但在使用动量编码器的情况下不会让孪生网络崩溃。本论文是FAIR的陈鑫磊&何恺明大神在无监督学习领域的又一力作，提出的简单孪生表达学习机制（SimSiam）不使用上述的任一方法（负样本对，大批量，动量编码器），也可以避免表达学习中的“崩溃”问题，并取得很好的效果。

论文中，直接最大化了一个图像的两个视图的相似性，在预测层对孪生网络结构引入了一定的非对称性；这种非对称可以帮助一定程度让缓解特征崩溃的问题，因为两个共享分支不再被强迫输出完全同样的特征，预测层一定程度容纳了非一致的特征；实验表明“崩溃”虽然存在，但停止梯度的操作是预防这