[论文阅读 2020 Arxiv 自监督对比学习]Exploring Simple Siamese Representation Learning

简介

paper:Exploring Simple Siamese Representation Learning

code:暂未开源，可参考PatrickHua/SimSiam

Kaiming He大神的自监督学习新作。这篇论文相比于之前的SimCLR、BLOY,不需要negative sample pairs、large batches、momentum encoders,可以说是将基于孪生网络的自监督模型简化到了极致，而这也是这篇论文想引导大家思考的，即基于孪生网络的自监督学习模型中，究竟是什么在起作用。

主要内容

如上图所示，是SimSiam的主要结构,整个模型非常简单:

1. 对图片$x$进行随机图像增强得到$x_1$和$x_2$;
2. 将$x_1$和$x_2$输入到encoder network$f$(encoder$f$共线参数),其中$f$由一个backbone(e.g.,ResNet)和一个projection MLP head组成.
3. 之后，将其中一个输出输入到一个prediction MLP head$h$中，最后计算两个分支的negative cosine similarity.

用数学公式表示为:

$$p_1\triangleq h\left(f\left(x_1\right)\right)$$
$$z_2\triangleq f\left(x_2\right)$$
$$\mathcal{D}\left(p_1,z_2\right)=-\frac{p_1}{{\Vert p_1\Vert }_2}\cdot \frac{z_2}{{\Vert z_2\Vert }_2}$$

where $\Vert \cdot {\Vert }_2$ is $l_2$-norm.

为了防止出现collapse的问题，这篇论文使用了stop-gradient(论文后文重点说明这个是关键),即:

$$\mathcal{D}\left(p_1,\text{ stopgrad }\left(z_2\right)\right)$$

将$x_1$和$x_2$交换位置后可以得到另一半损失，最终的损失函数可以表示为:

$$\mathcal{L}=\frac{1}{2}\mathcal{D}\left(p_1,\text{ stopgrad }\left(z_2\right)\right)+\frac{1}{2}\mathcal{D}\left(p_2,\text{ stopgrad }\left(z_1\right)\right).$$

Here the encoder on $x_2$ receives no gradient from $z_2$ in the first term, but it receives gradients from $p_2$ in the second term (and vice versa for $x_1$).

整个算法用伪代码表示为:

实验验证

这篇论文用了大量实验在分析避免collapse的因素,试图寻找基于孪生网络的自监督学习模型的学习核心。

从上图可以看出，如果不使用stop-gradient模型不work！

上面这个图说明了去除掉prediction$h$模型也不work!

上面这个图说明了SimSiam不需要大的batch size.

论文中，作者还试图从EM模型的角度分析stop-gradient起作用的原因，感兴趣的可以阅读原文.

实验结果

小结

自监督对比学习领域真是越来越热闹了,MocoV1、SimCLR、BLOY,SwAV,包括这篇的SimSiam,都在挖掘基于孪生网络的自监督学习模型的潜力，我等闲人也就只能吃吃瓜了。