对比学习(Contrastive Learning) (3)

《What Makes for Good Views for Contrastive Learning》

Introduction

在对比学习中，选择不同的视角对于下游的分类至关重要，那么，如何定义什么才是好的视角，如何选择一种好的数据增强方式，用什么准则来指导选择好的数据增强方式，本文就是围绕着三个问题来解决的。
在数据增强的时候，不同view的选择方式如何影响实验的结果？作者认为好的view的选择应该在减少不同view的共同信息（mutual information）的同时，尽可能使提取到的下游任务需要的信息简洁。直观上来讲，我们从什么角度看待一个物体并不会改变这个物体本身，多视角学习的关键任务就是对观察目标建立视角不变的表征。

文章的主要贡献：

• 在对比学习中，如何选择最佳的view是依赖于下游任务的
• 特征的表示能力与共享信息之间是一种U型的曲线关系
• 设计了一种在给定任务下的半监督学习方法

什么是好的视角（view）？ ------> InfoMin principle

含有对于下游任务最少的必要信息。即不同视角共享的信息应尽可能地与下游任务相关，无关的信息尽可能少。

如何定义最佳视角的选择？

如上图，设$I(v_1;v_2)$为两个视角包含的共同信息，$I(v_1;y)$为视角$v_1$包含的任务相关的信息，$I(v_2;y)$为视角$v_2$包含的任务相关的信息。
当$I(v_1;v_2)<I(x;y)$时，两个view不能包括有些任务相关的信息，从而降低下游任务的性能。
当$I(v_1;y)=I(v_2;y)=I(v_1;v_2)=I(x;y)$时，$v_1$和$v_2$两个视角包含的信息是只与任务相关的，没有多余的噪声，称为sweet spot。
当$I(v_1;v_2)>I(x;y)$时，两个视角共享的信息超过了任务相关的信息，含有任务不相关的噪声。

存在什么问题？
在无监督学习中，我们通常不知道标签信息，而标签信息对于指导下游任务是很关键的，因此，如何找到最好的视角选择方式就变得很困难。

如何通过训练的方式选择好的数据增强方式？

无监督方法

设数据增强方式为$g(\cdot )$，根据上面的infoMin准则，我们想要训练使两个编码器$f_1,f_2$对不同视角提取的共有信息尽可能多，同时训练使$g(\cdot )$能够最小化不同视角的信息，目标函数可表示为：
$$\underset{g}{\min }\underset{f_1,f_2}{\max }{I}_{NCE}^{f_1,f_2}(g(X{)}_1;g(X{)}_2)$$
通过上面的目标函数，在大多数情况下都可以减少不同view之间的共享信息，然而在实际训练中，这种对抗的训练方式很容易不稳定，因为实际上没有下游标签信息的指导，$g(\cdot )$自己也不知道应该朝向什么方向进行优化。鉴于此，作者引入了一种半监督的学习方式：

半监督方法

在半监督的学习方法中，我们假设下游任务的一小部分标签是可利用的，这样一来这些标签信息就可以指导$g(\cdot )$向着保留与标签相关信息的方向优化，在实际中，在不同的view表征上引入两个分类器$c_1,c_2$来指导学习过程：
$$\underset{g,c_1,c_2}{\min }\underset{f_1,f_2}{\max }\begin{array}{c}\underbrace{I_{NCE}^{f_1,f_2}(g(X{)}_1;g(X{)}_2)}\\ unsupervised:reduceI(v_1;v_2)\end{array}+\begin{array}{c}\underbrace{{\mathcal{L}}_{ce}(c_1(g(X{)}_1),y)+{\mathcal{L}}_{ce}(c_2(g(X{)}_2),y)}\\ supervised:keepI(v_1;y)andI(v_2,y)\end{array}$$
其中，$I_{NCE}$应用在所有的数据上面，后面的${\mathcal{L}}_{ce}$只应用在标签数据上面。在开始训练的时候，同时采样无标签数据和标签数据进行优化，当损失函数降低到一定程度时，固定$g(\cdot )$来进行无监督对比学习的训练。