转载地址:https://bbs.huaweicloud.com/forum/thread-114182-1-1.html
作者:MapleStory
SimCLR(A Simple Framework for Contrastive Learning of Visual Representations)作为一个无监督训练模型,一方面,由于没有标签,需要自己构造正样本和负样本,其中正样本对是来自同一个样本的两个副本,他们经过了不同的随即变换,虽然相似,但具有差异。另一方面数据处理对构造样本对非常重要,在其Paper中的第2节Data Augmentation for Contrastive Representation Learning中讨论了多种样本处理操作对精度的影响。
从上图中可以看到,输入样本x经过两次随机变换,得到两个副本。随机变换是一系列操作的组合,在原文中的作者最终组合了3种变换:random cropping followed by resize back to the original size, random color distortions, and random Gaussian blur。