如何改进基于图的协同过滤中的表示对齐和一致性？How to Improve Representation Alignment and Uniformity in Graph-based CF?

动机

之前研究中DirectAU是自监督学习，虽然有对齐和一致性的优势,但由于依赖于训练数据的特点,可能会导致模型过拟合,同时DirectAU严格最小化联合损失，这会引起过度的噪声转移，影响泛化性能。
因此提出 AU+ 这种可以从更加普适的角度学习特征表示,不易受限于训练数据的特点,从而提高模型在新任务或数据上的泛化性能。

• 自监督学习是根据数据本身的特点设计任务,学习到的特征表示可能过于专一。
• 自监督对比学习则是通过对比不同样本的差异,学习到更加通用的特征表示

AU+提出

在以往研究中，已经发现对比损失的两个重要属性：对齐性和一致性，并且发现直接优化对齐损失和均匀损失可以更好提高性能：


于是为了更好的提高推荐中的对齐和均匀性，之前提出了自监督学习方法DirectAU，通过联合优化对齐损失和均匀损失达到提高性能的目的：

DirectAU依赖于观察到的交互数据，并结合对齐损失和均匀损失进行优化，这种优化目标本质上构成了监督信号，可能导致模型过拟合训练数据，损害模型泛化能力

现有的CF方法在表征的对齐和均匀性的通用性方面有局限性（不是所有情况都可以使用）

于是本文为了减轻模型对训练数据中采样方差引起的噪声溢出问题，使得对齐和均匀性有更好的通用性， 作者提出了一个新框架：AU+框架，有两个特点：

• 自监督对比学习：减轻噪声溢出
• 0层嵌入扰动机制：执行最小但足够的数据增强

损失函数

监督对比损失：提供监督信号

自监督对比损失：

AU+总体框架：

1. 构建用户-项二部图
2. 首先生成两个增强节点作为视图（图1最左侧两列）
3. 要求同一节点增强的视图相互对齐，所有节点的视图在超球体上均匀分布
   

0层扰动机制

AU+特有的0层扰动机制，通过添加随机噪声来进行数据增强，执行最小但足够的数据增强；
增强视图如下：


对比SimGCL：


这个0层扰动机制很类似SimGCL的实现原理，但是simGCL添加随机噪声可能会导致模型学习动态和表征能力下降，一些噪声可能会使得信号失真，从而影响性能；
0层扰动机制核心就是最小化图结构的破坏的同时生成训练的正负样本对，这种方法可以更好地保留关键信息，相当于在simGCL上提优

实验

实验一：性能和收敛速度比较

以LightGCN为基线分别计算三层设置下基于对比学习的方法和AU+及其变体的性能比较：

性能比较结论如下：
和lightGCN对比，发现有对比学习的SGL、SimGCL、NCL、AU+的模型性能高：

• 对比学习方法直接影响性能

SimGCL和AU+性能居前：

• 数据增强方法会影响性能
  SimGCL使用随机噪声初始化嵌入实现数据增强；AU+使用0层扰动机制实现数据增强，原理和SimGCL类似，所以得到的数据分布更均匀，均匀性提高，性能也更好

AU+及其变体性能最好：

• SimGCL直接添加随机噪声，可能影响表征学习能力，当噪声较大，会影响信号失真，效果不如AU+的0层扰动机制，可以最小化图结构破坏，保留最多关键信息

AU+是自监督对比学习且采用比simGCL更好的0层扰动机制进行数据增强，最小化图结构破坏，保留最多信息，所以性能最好

、

根据实验结果可以发现：
lightGCN和NCL收敛缓慢；SimGCL和SGL在中期表现不稳定，而且收敛速度也没有AU+快

• AU+的收敛速度最快、最稳定

和其他方法对比：

将BPRMF和Mult-VAE的不利表现归因于它们无法捕获高阶连通性信息，而这在协同转换中至关重要。
DirectAU优于其他基线，因为它直接将表示与监督信号对齐，同时限制了表示的一致性。然而，优化过程受到训练数据中的标签方差的影响，模型不可避免地会超过噪声。

AU+采用自监督对比学习并且使用0层扰动机制

实验二：消融实验

实验对象：

• CL-BPR：使用BPR损失替代对齐和均匀损失
• DirectAU：将我们的AU+模型删除增强视图中的对齐和均匀约束
• AU+

实验现象:

• CL-BPR偏向于牺牲对齐性来促进均匀性（偏向一个属性）
• DirectAU总是严格的联合最小化两个损失（过度转移数据中的噪声来向联合损失减小的方向运动）
• AU+解决上面两个问题，既不会偏向一个属性也不会过度转移噪声，可以动态调整优化方向

AU+可以动态调整优化方向

总结

针对现有的基于协同过滤(CF)的方法,作者指出它们学习到的表征存在标注依赖性,这可能会导致模型过拟合标注数据,影响在未见测试数据上的泛化性能。

为了解决这个问题,作者提出了一种名为AU+的自监督对比学习框架。该框架利用自监督的对比学习方法来提高特征表示的对齐性和一致性,从而增强模型的泛化能力。

在AU+框架中,作者设计了一种0层扰动机制,能够在最小程度上增强数据,为自监督对比学习提供足够的信号,避免使用传统的图数据增广操作。

实验结果表明,将自监督对比学习集成到表示学习中,能够从对齐和一致性的角度增强学习到的表征的泛化能力,从而获得更好的性能和更快的收敛速度。

标注依赖性：在有监督学习中,模型的训练依赖于人工标注的标签数据。这可以帮助模型学习到与任务相关的特征表示。 而在自监督对比学习中,虽然不需要人工标注的标签,但模型仍需要依赖于某些预设的对比任务和对应的正负样本。