跨视图对比学习要从两个方面入手:
1.对比学习
2.多视图问题
首先我们先浅谈一下对比学习,对比学习的主要目的是令模型学习特征,以无标签的对比学习为例,我们构造正样本和负样本,令学习的特征与正样本相近,与负样本相远。其中我们会设计一些步骤,例如增强学习,或者构造一些特定的损失,令我们更好的完成任务,而其中这些细分任务的不同,比如可以不用负样本,就导致了多种对比学习方法的产生,但本质,都是一种自监督的 学习,他可以允许我们在有标签,标签稀少,甚至无标签情况下学习样本特征。
例如该图,我们可以在少标签的情况下去学习特征。
多视图问题:
假设我们处理聚类问题,几篇文章可能看起来毫不相关,不能分为一类,例如哪个足球俱乐部夺了哪场比赛 的冠的报道和对某个人的专访,我们不会把他们放到同一类,但是有可能这里面的核心人物都是同一个,我们将这两种文本称为一类文本的不同视图,要解决这种问题,现在常用的方法多分成以下几类:
(1) 自我表示学习
(2) 矩阵分解
(3) 共享视图锚点学习
但以上方法存在着时间复杂度过高,或者子空间表示有缺陷,学习特征存在问题等一系列问题。
参考: https://analyticsindiamag.com/contrastive-learning-self-supervised-ml/