论文不详细解读（二）——SimCLR系列

1. SimCLR v1

论文名称： A Simple Framework for Contrastive Learning of Visual Representations
开源地址：https://github.com/google-research/simclr
大佬论文解读：https://zhuanlan.zhihu.com/p/378953015

highlight：更多的数据增强与非线性映射层
用数据增强构造正样本，batch内的其余图片为负样本

假设现在有1张任意的图片x，叫做Original Image，先对它做数据增强，得到2张增强以后的图片x1和x2。注意数据增强的方式有以下3种：

• 随机裁剪之后再resize成原来的大小 (Random cropping followed by resize back to the original size)。
• 随机色彩失真 (Random color distortions)。
• 随机高斯模糊 (Random Gaussian Deblur)。

SimCLR框架

使用 Projection head 计算loss，预测头是一个2层的MLP，将2048 维的visual representation向量进一步映射到 128 维隐空间中，得到新的representation。最终使用$z_i$$z^{}$