Contrastive Meta Learning with Behavior Multiplicity for Recommendation

摘要

一个好的推荐框架不仅可以帮助用户识别他们感兴趣的项目，还可以使得各种在线平台（如电子商务、社交媒体）从中获益。传统的推荐模型通常假设用户和项目之间只存在一种类型的交互，并且无法从多类型的用户行为数据建模多种用户-项目关系，如页面浏览、收藏和购买。虽然最近的一些研究提出了捕捉不同类型行为之间的依赖关系，但有两个重要的挑战较少探索：
i) 处理目标行为（如购买）下的稀疏监督信号。
ii) 通过指定的依赖关系建模来捕获个性化的多行为模式。
为了解决以上挑战，我们设计了一个新的模型CML，对比元学习(CML)，为不同的用户形成特定的跨类型行为依赖。尤其，我们提出了一个多行为对比学习框架，通过构建的对比损失来提取不同类型行为间的可传递知识。此外，为了捕获不同的多行为模式，我们设计了一个对比性的元网络来为不同的用户编码特定的行为异质性。在三个真实数据集上进行的大量实验表明，我们的方法始终优于各种最先进的推荐方法。我们的实证研究进一步表明，对比元学习范式为在推荐中捕获行为多样性提供了很大的潜力。我们在：https://github.com/weiwei1206/CML.git 上发布了我们的模型实现代码。

1 介绍

推荐系统已经成为缓解各种在线应用程序中用户棉纶的信息超载的关键组件，如电子商务[40]、在线视频平台[46]和社交媒体[30]。目标是了解用户偏好，并根据观察到的用户行为预测他或她将消费的项目。

在各种推荐技术中，协作过滤(CF)已经成为最有前途的推荐架构来建模用户历史交互的项目。通常，现有的协同过滤范式的核心是将用户和项目投射到潜在的表示空间中，从而保留它们的交互结构信息。例如，在Autoencoder[33]和CDAE[49]中，使用自动编码器作为表示投射的有效嵌入函数。为了在协同过滤中添加高阶连接信号，另一个有前途的研究路线是将用户-项目交互建模为一个图，并保留图结构信息生成用户/项目特征表示。这些模型在交互图中进行信息传递，逐层生成节点级嵌入，例如，PinSage [53], NGCF [43] and LightGCN [15]。

然而，大多数现有的推荐模型假设用户和项目之间只存在一种类型的交互，而在实际的推荐场景中，在本质上是多重的[12,41]。以在线零售平台为例，用户可以以多种方式与商品进行交互，包括页面浏览、收藏和购买等。不同类型的行为可以从不同的意图维度来表示用户偏好，并相互补充，从而更好地实现用户偏好学习[37]。因此，在推荐中捕获行为多样性和潜在依赖性是具有挑战性但有价值的。为了解决这一挑战，现有的工作通过引入不同的聚合方案来集成特定类型的行为嵌入来建模行为依赖，以增强对目标用户行为（例如，客户购买）[23,50,51]的表示。 例如，MATN[50]采用自注意力对不同类型行为之间的两两相关性进行编码，并对目标行为进行预测。在MBGCN中开发了一个关系感知的嵌入传播层来学习行为的多重性[23]，从高阶邻居那里收集多行为的交互信息。

尽管现有的方法有效，但这些研究有两个共同的局限性：

第一，目标行为下的稀疏监督信号：目前大多数的多行为推荐系统都是以端到端方式使用监督信息进行训练的。也就是说，为了对目标用户行为进行预测，需要有足够的与目标行为对应的标记数据（如用户购买数据）。不幸的是，与其他类型的用户-项目交互相比，在目标行为类型下的交互通常很稀疏。例如，在线零售系统中的购买预测任务仍然面临着缺乏真实标签[20]的挑战。因此，由于缺乏特定行为类型的监督信号，直接集成目标类型的行为嵌入会降低性能。

第二，个性化的多行为模式：多行为模式可能因用户而异。多类型用户-项目交互的语义及其相互关系是不同的，这取决于用户[27]的个性化特征。由于没有考虑用户的不同意图会产生不同的用户行为，以往的多用户-项目关系建模导致了次优表示。

贡献

在发现了具有行为多样性的推荐的上述挑战后，我们专注于在一个对比自监督学习原型下探索不同的多行为模式。为此，本研究提出了一种新的模型——对比元学习(CML)的多行为推荐。在CML中，我们设计了一个多行为对比学习框架，从不同的行为视图中捕获跨类型的交互依赖关系。这使得我们开发的推荐系统能够有效地从不同类型的用户行为中提取额外的监督信号，从而在稀疏的监督标签中增强了模型优化过程。 受自监督表示学习最近取得成功的启发，我们利用对比学习的思想，设计了跨类型行为依赖去建模具有用户自识别的任务。我们的多行为对比学习的目标是通过构建的对比损失来达到用户的特定类型的行为表示之间的一致性。此外，为了处理用户的偏好多样性并捕获个性化的多行为模式，我们设计了对比元网络来刻画特定的行为异质性，使CML能够为不同的用户有其特有的表示。我们的元对比编码器首先从用户那里提取个性化的元知识，然后将其输入我们的加权函数，用于特定的多行为依赖建模。
简而言之，这项工作做出了以下贡献：

• 通过强调多种用户-项目关系的重要性，以及解决目标行为的标签稀缺性问题，我们提出了一种新的多行为学习范式的推荐方法CML。
• 在我们的CML框架中，我们设计了一个多行为对比学习范式，从多类型用户行为数据中捕获可转移的用户-项目关系，它将辅助监督信号合并到稀疏目标行为建模中。此外，我们提出的元对比编码模式允许CML保留个性化的多行为特征，从而在特定的自监督框架下反映不同的行为感知用户偏好。
• 我们在三个真实世界的推荐数据集上进行了广泛的实验，以证明我们的假设的合理性和我们所提出的框架的有效性。通过将CML与12个基线进行比较，我们证明CML能够在不同的设置下持续地提高不同技术的性能。进一步的分析证明了消融研究中所设计的子模块的有效性。

2 准备工作

我们首先定义 U 和 I 来分别表示用户和项目的集合。在我们的多行为推荐场景中，让 $X^{（k）}$表示第𝑘个行为类型下的用户-项目交互矩阵（例如，页面浏览、收藏、购买）。因此，多行为交互数据被表示为{$X^{（1）}$，…，$X^{（k）}$，…，$X^{（K）}$}，其中𝐾是行为类型的数量。特别是，元素$x_{u,i}^k$ = 1表示用户 𝑢 在 𝑘 行为类型下与项目 𝑖 有交互，否则$x_{u,i}^k$ = 0。一般情况下，目标行为作为预测目标，其他类型的用户行为作为辅助行为。例如，在电子商务服务中，购买与商品总价值(GMV)直接相关，购买通常被认为是用户建模应用中的目标行为。辅助行为可能是页面浏览和添加到收藏夹/购物车。

问题陈述.
研究任务正式表示为：
输入：观察到的用户U 和 项目 I 之间的交互𝐾个类型的行为{$X^{（1）}$，…，$X^{（k）}$，…，$X^{（K）}$}
输出：一个预测函数估计用户u与项目𝑖在目标类型（𝑘）上交互的可能性。

多行为交互图
受图协同过滤方法[43,45]的表示范式的启发，我们探索了多行为推荐场景的用户-项目图结构。具体来说，给定𝐾个不同类型的用户-项目交互矩阵{$X^{（1）}$，…，$X^{（k）}$，…，$X^{（K）}$}，我们生成多行为交互图，其中节点集 V=U∪I 包含用户和项目集。我们进一步定义了多重边集 E 来表示𝐾种类型交互行为。在E集中，𝑢 和 𝑖 之间有边 $e_{u,i}^k$，则$x_{u,i}^k$ = 1。

3 方法

我们在本节中介绍了我们的对比元学习框架(CML)，它将特定的元学习封装到一个自监督神经结构中，用于个性化的多行为依赖建模。总体模型流程如图1所示。关键组件将在以下各小节中详细阐述。

表1：CML框架流程模型图
i) 设计的图神经网络 G (A; ΘG)执行行为感知消息传递给多行为交互图G = {V, E}。
ii) 对比视图被构造在目标行为嵌入$e_u^k$和辅助行为嵌入$e_u^{k^{\prime }}$之间。
iii) 我们提出的元对比编码器用元权重网络M ( (L, E, $E^k$ ); ΘM)捕捉特定的跨类型行为依赖。$w_u^{k,k^{\prime }}$是个性化对比损失权重。

3.1行为感知图神经网络

为了将高阶连接添加到跨用户/项目的多重关系学习中，我们首先开发了一个基于行为上下文感知的基于图的消息传递框架。受基于图的信息传播神经体系结构[55]和在最先进的模型LightGCN[15,22]激发，在一个轻量级的图架构上建立了我们的行为感知信息传递方案，它可以被表示为：

其中，$e_v^{k,(l+1)}$定义为在第 l 图神经层下获得的节点 v 的表示。$N_u^k$和$N_i^k$分别代表着项目 i 和用户 u 的邻居节点。在对用户的特定行为的交互模式进行编码后，我们提出对不同类型的行为模式执行嵌入聚合，并对用户表示进行以下操作（类似的聚合应用于项目端）：

聚合的特征表示$e_u^{(l+1)}$ 可以保留多种行为的上下文信息。$W^l$∈$R^{d\times d}$表示第𝑙图传播层对应的变换矩阵。

3.2 多行为对比学习

在我们的CML框架中，我们提出了一个多行为对比学习范式，通过自监督原则来捕获不同类型的用户交互之间的复杂依赖关系。从概念上讲，我们利用对比学习策略的思想，通过对比正样本和负样本来进行样本识别。我们的对比学习架构使我们的主要监督任务（即目标行为预测）有来自辅助行为的辅助监督信号。

3.2.1 生成对比视图

在对比学习范式中，重要的是生成适当的视图来构建不同的表示，以便进行对比。在我们的行为多样性推荐场景中，我们提出将每种类型的行为视为单独的视图，从而在不同行为视图中的用户嵌入之间进行对比学习。与目前的多行为推荐系统不同，(如MATN[50]，MBGCN[23])仅依赖行为嵌入组合进行目标行为预测，而我们通过将辅助行为上下文信息作为监督信号来进行数据增强。这种设计不仅编码了跨类型的行为依赖性，而且减轻了在不同类型的用户交互数据之间的倾斜数据分布。

3.2.2 行为方面的对比学习

在建立了多行为下的对比视图后，我们进一步设计了目标行为和辅助行为之间的行为对比学习范式。特别是，同一用户的不同行为视图被视为正对，不同用户的视图被采样为负对。在我们的图神经结构中，编码后的目标行为表示为 $e_u^k$，生成的正对和负对分别是{$e_u^k$，$e_{u^{\prime }}^{k^{\prime }}$ | u∈U}和{$e_u^k$，$e_{u^{\prime }}^{k^{\prime }}$∈U | 𝑢, 𝑢′ ∈ U, 𝑢 ≠ 𝑢′ }。辅助监督使我们的模型仍然能够从不同的行为视图（即𝑘和𝑘’ ；𝑘，𝑘’ ∈𝐾）识别用户𝑢，并捕获辅助行为和目标行为之间的潜在关系。同时，对于不同的用户𝑢和𝑢’ ，对比损失的目的是区分数据增强后的行为嵌入。

在工作[48,58]之后，我们利用多视图对比学习框架中的InfoNCE[29]损失，来衡量嵌入之间的距离。我们定义了我们的自监督学习损失，**目的是通过对比正对和采样对应的的负对，来最大化用户表示之间的互信息(MI) 。**基于infoNCE的对比损失的计算方法如下：

其中，我们将𝜑（·）定义为两个嵌入之间的相似度函数（例如，内积或余弦相似度）。𝜏表示softmax函数的温度超参数。综上所述，我们基于上述定义的对比损失，通过最大化同一用户两种行为视图之间的一致性，并加强不同用户之间的差异性来进行对比学习。我们得到了每对目标行为（𝑘）和辅助行为（𝑘’ ）的对比损失$L_{cl}^{k,k^{\prime }}$。因此，我们生成了对比损失函数列表，如下：

3.3 元对比编码
在我们的推荐场景中，不同的用户有不同的行为模式和项目交互偏好。例如，一些用户可能会从他们喜欢的商品列表中挑选大部分产品来购买，而另一些用户可能只会购买零星的产品，因为他们在列表[27]中添加了很多不太感兴趣的商品。来自不同用户的多种行为模式的多样性，导致了不同的项目交互结果。因此，有效地建模不同类型的行为之间的个性化依赖关系，对于做出准确的推荐也很重要。为了实现这一目标，我们提出了一个元对比编码方案来学习一个聚合多行为对比损失的显式权重函数。该模块通过将对比损失整合，形成了我们的自监督学习范式。我们的元对比编码模式是一个两阶段的学习范式：
i) 我们提出了一个元知识编码器来捕获个性化的多行为特征，以反映不同的行为感知用户偏好。
ii) 然后，将提取的元知识整合到我们开发的元权重网络中，去生成跨类型行为依赖建模的对比损失权重。

3.3.1 元知识编码器

在我们的元对比编码框架中，我们首先提取元知识，以保留用户的行为依赖性。受[16,56]中的特征交互机制的启发，我们基于学习到的用户行为表示$e_u$、$e_u^{k^{\prime }}$($k^{\prime }的辅助行为$)，设计了两种不同集成技术的元知识编码器：

其中，被编码的元知识被表示为 $Z_{u,1}^{k,k^{\prime }}$ 和 $Z_{u,2}^{k,k^{\prime }}$ 。我们将 𝑑（·）定义为复制函数，以生成一个对应于嵌入维数的值向量。∥表示连接操作。𝛾是缩放系数。通过这种学习个性化特征的设计，在提取的元知识中同时保留了辅助目标行为依赖和用户特定的交互上下文。

3.3.2 元权重网络

在使用用户特定的多行为模式对元知识进行编码后，我们设计了一个从元知识到对比损失权重的权重映射函数𝜉（·）。该模块使我们的推荐框架可以学习多行为的关系，以反映在各种类型的行为意图下的个性化用户偏好。在形式上，我们将权重函数定义为下面的转换层：

其中W𝜉∈$R^{d\times d}$和b𝜉∈$R^d$分别代表映射层和偏置，及PReLU激活函数。基于我们的元权重网络，我们可以得到我们的个性化对比损失权重如下：

对于每个用户𝑢，$w_u^{k,k^{\prime }}$ 权重表示了目标行为类型 k 和辅助行为类型 k’ 之间的显式依赖关系。因此，使用我们的元对比编码方案，我们可以生成两个损失权重，基于infoNCE的自监督损失和基于贝叶斯个性化排序(BPR)的推荐目标损失。

3.4 CML框架的学习过程

在本节中，我们首先介绍我们的优化目标，然后提出我们的CML框架的训练策略。最后，对该模型的时间复杂度进行分析。

3.4.1 优化目标
在CML的模型中，我们使用贝叶斯个性化排序(BPR)损失来学习参数，这促使用户的已交互项目的概率高于他/她的未互动到的项目。在形式上，特定于行为的BPR损失被定义为：

$O_k$表示第𝑘种行为类型的成对训练样本，即，$O_k$={（𝑢，𝑖+，𝑖-）|（𝑢，𝑖+）∈R+，（𝑢，𝑖-）∈R-}。其中，R+和R-分别表示用户𝑢有交互的和无交互的边。Θ表示可学习的参数，并采用𝐿2正则化来缓解过拟合问题。

3.4.2 模型训练
在这项工作中，我们遵循之前工作中元学习方法的训练策略，去更新我们的图神经结构(表示为G(A；ΘG))和多行为对比元网络(表示为M((L，E，$E^k$)；ΘM))的参数。其中，A表示具有行为感知能力的用户-项目交互图的输入邻接矩阵。E 和 $E^k$ 分别表示学习到的多种行为类型和特定行为的所有用户嵌入矩阵。以提高模型的训练效率，模型训练分为三个阶段。特别是：

• i) 在第一阶段，我们整合了行为感知图神经网络和对比元网络，在整个训练数据上学习我们的多行为对比编码器的初始参数。（联合训练）
• ii) 在第二阶段，我们基于元数据细化了对比元网络的模型参数ΘM。（元数据：可能指的是多种行为类型的数据，训练数据指的是目标数据）
• iii) 在生成个性化的对比损失权值后，我们利用更好的Θ𝑀来改善我们的图神经网络的参数ΘG。

我们展示了嵌套的优化过程如下（𝐵表示训练批次的大小）：

3.4.3 模型复杂性分析

我们从几个关键组件来分析CML框架的复杂性：

• i)我们的轻量级图神经体系结构的计算成本是𝑂(𝐿×𝐾×|R𝑘+|×𝑑)，用于执行跨图的消息传递。|R𝑘+|表示在𝑘行为下，相邻矩阵中非零元素的个数，𝐿表示信息传播层数。线性的多行为聚合的转换和平均池需要𝑂（𝐿×（𝑁+𝑀）×𝑑×（𝐾+𝑑））时间。
• ii)我们的元对比编码器占用了𝑂(𝐾×|R𝑘+|×𝑑2)的时间开销。
• iii)基于infoNCE的互信息计算的代价分别为𝑂（𝐵×𝑑）和𝑂（𝐵×𝑆×𝑑）（见式3）。在这里，𝑆是对比学习的采样量，用于减少时间复杂度，增加随机性，以实现模型的鲁棒性[44]。因此，我们的多行为对比学习范式在每轮上需要𝑂(𝐾×|R𝑘+|×𝑆×𝑑)的时间。

总之，我们的模型可以与最先进的多行为推荐技术(如MBGCN，EHCF)实现相当的时间复杂度。

4 评估
为了评估CML的性能，我们通过回答以下研究问题，在几个真实世界的数据集上进行了实验：

• RQ1：所开发的CML框架在处理推荐中的行为多重性方面的效果如何？
• RQ2：不同的模块如何影响CML的性能，如多行为对比学习范式和元对比编码器？
• RQ3：当与最先进的方法相比时，CML如何缓解交互数据的稀疏性？
• RQ4：不同的超参数设置如何影响CML？
• RQ5：我们的CML的模型解释能力如何？

4.1 实验设置

4.1.1 数据集

我们在三个公开的推荐数据集上评估了我们提出的CML的有效性。我们在表1中展示了统计信息。
天猫：该数据集收集自中国最大的电子商务平台之一。用户行为数据包含各种交互：页面视图、添加到收藏夹、添加到购物车和购买。按照[50]中的设置，我们在训练集和测试集中保留至少有三次购买的用户。
IJCAI-Contest：该数据是一个企业对客户的零售系统。它与天猫数据有相同的行为类型，这些数据反映了用户对项目的各种意图。
Retailrocket：它是从Retailrocket推荐系统中收集的另一个基准数据集。在这个数据集中，用户交互有页面浏览、添加到购物车和交易组成。

根据之前的多行为[23,50]推荐工作，将购买行为设置为目标行为，并将其他类型的交互视为辅助行为。

4.1.2 基线

我们将我们的CML与以下两组的最先进的方法进行了比较：单行为和多行为推荐系统。这些方法利用各种技术来提高推荐性能：

单一行为推荐方法：

• BPR[32]：它是一种被广泛采用的矩阵分解模型，采用贝叶斯个性化排序的优化准则。
• PinSage[53]：该方法定义了基于重要性的相邻节点来执行图卷积。在PinSage中，消息传递路径是通过随机游走来构建的。
• NGCF[43]：它是一个具有代表性的图神经框架，它基于卷积消息传递方案捕获用户嵌入函数中的协同效应。
• LightGCN[15]：它通过删除特征转换和非线性激活操作，简化了基于图卷积网络的推荐架构。
• SGL[48]：该方法通过从不同视图（如节点和边dropout）对用户项目交互图进行自监督学习。整体辅助任务是基于节点的自识别。

多种行为推荐模型：

• NMTR[11]：它结合了多任务学习框架和神经协同过滤，来研究基于预定义的级联关系的多类型用户交互行为。
• MATN[50]：它采用了多行为推荐的注意力机制。具体来说，它使用记忆增强的自注意力来衡量不同行为之间的影响。内存单元的数量将从[2,8]的范围内进行调整。
• MBGCN[23]：该方法是一个基于GCN的模型，捕获所构建的用户-项目交互图上的多行为模式。在信息传播过程中考虑了高阶连通性。
• KHGT[51]：这种方法利用transformer将时间信息合并到多行为建模中，并通过图注意力网络来区分行为。
• EHCF[2]：它在异构用户反馈之间进行知识转移，以关联行为相关性。从仅有正样本中，一种新的损失被用于模型优化。

我们进一步比较了我们的CML与两个最先进的异构图神经网络，通过使用它们来捕获推荐中的异构行为关系。

• HGT[17]：transformer在图中建模异构关系。我们采用异构消息传递模式，用专用的表示对多行为进行编码。
• HeCo[44]：它是最近开发的一种基于跨视图监督学习架构的异构图神经网络。从我们的多行为交互图中生成元路径关系。

4.1.3 超参数和指标

我们使用PyTorch实现了CML。采用Xavier[14]进行嵌入初始化，并采用AdamW优化器[26]和循环学习速率(CyclicLR)策略[35]对模型进行优化。具体来说，分别从{0.6$e^{-4}$、1$e^{-4}$、1$e^{-3}$}和{0.6$e^{-3}$、1$e^{-3}$、2$e^{-3}$、5$e^{-3}$}中分别搜索基本学习率和最大学习率。对于所有基于图的基线，基于图的信息传播层的数量将从{1、2、3、4}开始进行调整。我们将L2正则化应用于学习到的嵌入，其权重从{1$e^{-3}$、5$e^{-3}$、1$e^{-2}$}中进行调整。此外，为了缓解过拟合的问题，在我们所设计的元网络中使用了dropout。

我们采用了广泛使用的留一策略，从目标行为类型（即购买/交易）下的用户最后的交互项目中生成测试集。两个具有代表性的评价指标用于性能比较：NDCG（归一化累积增益）和HR（命中率）。我们还运行了我们的CML模型和表现最佳的基线方法10次，以计算p值进行显著性分析。

4.2 性能比较（RQ1）

我们在表2中给出了不同数据集上所有方法的详细评估结果，其中我们的CML结果和最佳执行的基线分别用粗体和下划线突出显示。主要结果如下：

• CML在三个数据集上始终优于所有类型的基线。p值远小于0.05，这表明我们的方法和基线之间有统计学上显著的改善（p值越小，代表越可靠）。我们将显著的性能改进归因于以下两个原因：
  1) 通过元对比网络，CML以特定的方式捕获多行为依赖关系；
  2) 设计的对比学习范式包含了来自不同类型行为维度的辅助自监督信号，为基于图的协同过滤结构提供了信息梯度。

• 多行为推荐方法(如MBGCN、EHCF、KHGT)比单行为推荐方法(如NGCF、LightGCN、PinSage)有更好的性能，这揭示了将多行为信息使用到用户偏好建模中是有好处的。在各种多行为推荐模型中，EHCF在大多数情况下都是最好的基线。这表明，将不同的行为语义与监督标签相结合，能够指导模型的优化。此外，与基于拓扑的自监督方法SGL不同，我们的CML设计了新的对比学习范式，以适应多行为推荐。

• CML在所有情况下都大大优于异构图神经网络(即HGT和HeCo)，验证了我们设计的元对比网络使异构协同过滤具有有效编码关系异质性的能力。

4.3 消融效果分析和有效性分析（RQ2）

为了解释性能的提高，我们进一步对我们的CML进行了消融研究，以证明所设计的关键部件的合理性。分析细节总结如下：

• 多行为对比学习框架的效果
  我们首先的目标是回答这个问题：在CML的对比学习原型下整合行为依赖是否有益。为此，我们通过禁用目标用户行为和辅助用户行为之间的对比学习，生成了一个模型变体CML(w/o)-CLF。相反，我们只依赖于行为感知图神经网络来捕捉行为关系。我们在表3中对评估结果进行了以下关键总结：
  

1. CML总是优于CML(w/o)-CLF。这通过捕捉不同类型行为之间的复杂依赖关系，表明了我们的对比学习范式的有效性。
2. 该设计还减轻了多行为数据中倾斜数据分布的影响，并有效地转移了来自不同行为视图的知识。

• 元对比网络的影响
  为了研究元对比网络是否有利于多行为依赖建模，我们提出了另一种变体CML(w/o)-MCN，它仅基于估计的互信息在特定类型的行为嵌入之间进行对比学习。换句话说，跨类型对比损失函数与基于BPR的损失集成时，使用相同的权重，即不明确区分在增强的自监督学习任务下的影响程度。显然，CML比CML(w/o)-MCN获得了更好的性能。结果表明，利用元对比网络可以自动区分不同 目标-辅助行为对 之间的影响。跨视图的行为依赖关系可以相互补充。

• 元知识编码器的效果
  为了验证元知识编码器在我们的对比学习框架中的影响，我们通过禁用元对比权重网络M（·）进行了一项消融研究(使用变异CML(w/o)-MKE)。相反，我们使用一个权重门控机制，以统一的方式聚合特定行为的对比损失。去掉元知识会降低性能，这表明我们对不同类型的目标-辅助行为依赖进行对比学习的必要性。

4.4 模型在缓解交互数据稀疏性上的性能（RQ3）

在本节中，我们的目的是展示将对比学习引入多行为推荐的合理性，从而缓解数据稀疏性问题。在图2中，我们展示了天猫数据上不同交互稀疏度的结果比较。由于空间的限制，我们选择了几个有代表性的基线进行比较。具体来说，我们根据用户的互动数量将他们分成六组（例如，“<7”和“<60”）。由HR和NDCG衡量的模型性能(如图2中y轴右侧所示)是每一组中所有用户的平均值。图2的左侧显示了属于每个组的用户总数。

我们有以下发现：

• i) 随着用户交互数量的增加，所有比较方法的推荐精度都有所提高。这是合理的，因为充分的用户行为更可能被学习到高质量的行为嵌入。
• ii) 与普通的协同过滤模型(NGCF)相比，多行为推荐系统(如KHGT，MBGCN)获得了更好的性能，这表明结合多类型行为上下文来缓解数据稀疏性是有效的。
• iii) 在不同的交互程度下，CML的性能始终优于其他多行为推荐方法。这一观察结果表明，CML通过采用自监督对比学习范式来保留行为异质性，从而更好地解决推荐中数据稀疏性问题。

4.5 CML的超参数分析（RQ4）
本节研究了我们提出的CML框架中几个关键超参数的不同设置的影响，包括图传播层𝐿、表示维数𝑑、训练过程中的批处理大小。图3报告了评估结果。我们每次研究一个超参数的影响时，将保留其他参数的默认设置。

#图传播层𝐿
从图3中，我们可以观察到，当𝐿≤3出现时，更多的图传播层会导致更好的性能。这表明，更多的消息传递层将捕获来自高阶邻居的潜在依赖性。当进一步堆叠时，更多的图层可能会给用户表示引入噪声，从而导致过平滑问题[3,28]。

表示维度𝑑
我们的模型在嵌入维数16 ≤ 𝑑 ≤ 32时可以获得良好的性能。这表明，我们的CML可以在较小的隐藏状态维数下提高性能，这可以归因于有效地增强了具有多重关系的用户-项目交互学习。
在学习过程中的批次大小
我们分别从{128、256、512、1024、2048}和{256、512、1024、1024、2028、4096}的范围中搜索元对比网络（元批次）和图形神经结构（训练批）的批大小。在图3©.中，较深的颜色表明有更好的性能。当元网络的采样批次小于图网络的采样批次时，模型性能更好。这种配置将改善我们的增强自监督学习任务和基于BPR的排名目标之间的合作。

4.6 定性评价（RQ5）

我们还将预测的行为嵌入可视化，以便更好地了解我们在特定类型的行为嵌入之间取得的一致性。

元对比权重可视化
我们可视化几个抽样用户中每个辅助行为对（𝑘 - 𝑘’）中学习到的元对比权重$w_u^{k,k^{\prime }}$。图4(a)可以看到对比权重，反映了不同用户的个性化多行为交互模式。每个$w_u^{k,k^{\prime }}$值表示目标和辅助行为视图之间的对比损失权重。例如，对于id为27310这个用户，构造的浏览-购买和收藏-购买对比损失的学习权重分别为0.243和0.595。这表明，与他/她的浏览视图行为相比，该用户更有可能在将产品添加到收藏列表之后下订单。

嵌入可视化
我们进一步展示了分别由CML和w/o-CLF编码的用户行为嵌入的可视化(使用t-SNE[38]的二维投影)。特别是，我们使用不同的颜色来表示不同类型的行为，例如，红色：浏览视图，蓝色：添加到收藏夹，黑色：添加到购物车，绿色：购买。从图4(b)中，我们观察到了CML实现的嵌入一致性。这再次证明了我们的CML在缓解数据稀缺问题上的有效性，因为在对比自监督学习架构下，实现了不同类型的行为的知识转移。

5 相关工作
5.1 基于图的推荐模型

最近的研究表明，基于GNN的推荐模型通过使用不同的信息传播函数来聚合邻居的的嵌入，取得了很好的结果。例如，通过叠加多个嵌入传播层，NGCF[43]可以从具有高阶连通性的邻近节点中聚合信息。为了解决NGCF中基于GCN的消息传播的繁琐设计，LightGCN[15]删掉了权重矩阵，并使用基于和的池化操作来获得更好的推荐性能。此外，为了区分推荐中的关系，还设计了基于注意力的聚合函数，用于融合推荐系统中的各种信息，如社交影响[8,21,36]、知识图嵌入[24,42]、文本信息[47]等。具体来说，GraphRec[8]使用基于图的注意力机制来区分用户之间的影响。Wu等人[47]开发了一种注意力图神经范式，用上下文信息增强用户和项目表示。基于上述研究工作的动机，我们的对比元学习框架建立在图神经网络上，以捕获用户和项目之间的行为感知协同效应。

5.2 多种行为的推荐系统

在多类型的用户-项目交互作用下，最近有一些工作试图设计出有效的方法来处理行为多样性的问题[2,23,50-52]。特别是，[50,51]中，行为关系具有注意力机制的特征。MBGCN[23]使用图卷积网络学习有区别性的行为表示。MATN[50]考虑了在聚合时，不同类型的交互作用和注意力权重之间的影响。然而，它们中的大多数并没有考虑到稀疏行为数据。为了填补这一空白，我们提出了一种在行为语义层次上进行对比学习的新模型，该模型为行为类型之间的知识传递提供了辅助的信息监督信号。

5.3 对比表示学习

** 自监督学习技术在图像数据[6]和文本数据[10]上已被证明是有效的学习表示。它的目的是通过对比不同视图的正负样本来学习有区分度的表示。**对于可视化数据，使用不同的数据增强策略（如旋转[13]、颜色失真[5]）来生成负样本。为了更好地表示图的拓扑结构，Deep Graph InfoMaxI (DGI)[39]的目标是最大化基于原始图和扰动图的节点嵌入和图表示之间的互信息。此外，SGL[48]，以辅助任务来增强推荐的监督任务。它对图连接结构执行不同策略的dropout操作，即节点dropout、边dropout和随机游走。SMIN[25]是一种具有生成性自监督的社交感知推荐方法。受现有的对比学习范式的启发，本文通过探索用户-项目不同的语义交互方面，提出了一种新的具有自适应多行为建模的图对比表示框架。

6 结论

在本文中，我们开发了一个新的多行为对比元学习框架的推荐。我们的模型通过保留行为异质上下文与对比学习范式所构建的行为视图之间的一致性来学习用户表示。具有多行为自监督的行为感知图神经结构为推荐的异构关系学习带来了好处。我们使用几个真实世界的数据集进行了全面的实验，通过与各种先进的比较以证明我们提出的CML方法的有效性。

在本文中，我们首先采取了在自监督学习范式下捕捉用户的不同的多行为模式。在未来，探索我们的CML对在线用户建模应用程序（例如，用户分析）的预训练模型策略将是很有趣的。此外，另一个有意义的未来研究方向可以扩展我们的框架去学习用户的解纠缠表示，这可以反映多维用户的兴趣。