论文速读——Debiased Contrastive Learning for Sequential Recommendation

论文速读——Debiased Contrastive Learning for Sequential Recommendation

用于顺序推荐的去偏对比学习

ABSTRACT

当前的顺序推荐系统被提出来利用各种神经技术（例如 Transformer 和图神经网络（GNN））来解决动态用户偏好学习问题。然而，从高度稀疏的用户行为数据中进行推断可能会阻碍顺序模式编码的表示能力。为了解决标签短缺问题，最近提出了对比学习（CL）方法，以两种方式执行数据增强：（i）随机破坏序列数据（例如，随机屏蔽、重新排序）； (ii) 跨预定义的对比视图对齐表示。尽管有效，但我们认为当前基于 CL 的方法在解决流行偏见以及区分用户一致性和真实兴趣方面存在局限性。在本文中，我们提出了一种新的推荐去偏对比学习范式（DCRec），它通过自适应一致性感知增强将顺序模式编码与全局协作关系建模统一起来。该解决方案旨在解决推荐系统中的流行度偏差问题。我们的去偏对比学习框架有效地捕获了序列内项目转换的模式以及跨序列的用户之间的依赖关系。我们对各种现实世界数据集的实验表明，DCRec 显着优于最先进的基线，表明其推荐的有效性。为了促进结果的可重复性，我们将 DCRec 的实现公开发布于：https://github.com/HKUDS/DCRec。

1 INTRODUCTION

大量基于神经网络的方法 $\to$ 自监督学习（SSL） $\to$ 强化学习 $\to$ 各种研究领域的现有方法尚未充分解决数据增强中固有的流行偏差。

文中介绍了一个例子，比如一个人订阅了很多关于篮球的栏目，随后订阅了NBA专栏，另一个人订阅了一些热门话题，看见NBA话题很火而关注了它，很多表现优异的模型会认为他们是正对，其实不是。第二个人他并不是因为热爱篮球而订阅的。（这会导致不准确的数据增强，从而误导用户偏好学习。）因此，有效捕获用户意图的兴趣和一致性组成部分并以分离的方式对它们进行建模，对于提高顺序推荐的性能以对抗数据增强中普遍存在的流行度偏差至关重要。

DCRec 使用基于三个语义通道的多通道一致性加权网络将用户一致性与嘈杂的项目交互分开。

贡献：

1. 强调了通过以适应性强的方式提取自我监督信号来解决稀疏和嘈杂的用户序列数据中流行度偏差问题的重要性，这种方式可以解开用户的一致性和推荐的实际兴趣。
2. 提出了一种新颖的推荐模型，称为DCRec，它通过多通道一致性加权网络解决用户序列数据中的流行度偏差问题。此外，模型采用对比正则化的强度来有效地增强训练数据。
3. 在几个现实世界的数据集上证明了我们提出的方法的有效性，方法始终优于最先进的顺序推荐方法，同时减轻了流行度偏差的影响。

2 METHODOLOGY

任务

开发一个个性化排名函数，考虑用户过去的项目序列，并预测用户最有可能采用的下一个项目。

顺序模式编码

为了捕获项目之间的相关性，我们将具有多头 (N ) 通道的自注意力层应用于用户的项目嵌入矩阵。
$$M_H(H)=(hea{d}_I\Vert hea{d}_{II}\Vert ...\Vert hea{d}_n)\cdot W^D\text{\hspace{1em}(1)}$$

$$hea{d}_n=\text{Attention}(H_u^l{W}_n^Q,H_u^l{W}_n^K,H_u^l{W}_n^V)\text{\hspace{1em}(2)}$$

为了将非线性注入嵌入生成中，使用逐点前馈网络（FFN）在顺序模式编码器内进行表示转换，其定义为：
$$PFFN(H_u^l)=[FFN(h_1^{(l)}),...,FFN(h_T^{(l)})]\text{\hspace{1em}(3)}$$

$$FFN(x)=\text{GELU}(x{W}_1^l+b_1^l)W_2^l+b_2^l\text{\hspace{1em}(4)}$$

统一顺序视图和 CF 视图

挑战： 顺序推荐器中项目很少的短序列

提出： 统一项目转换的顺序视图和用户项目交互的协作视图。

目的： 旨在捕获隐式的跨序列用户依赖关系，从而允许在顺序推荐系统中进行用户明智的知识转移。

自适应跨视图对比学习

挑战： 一致性可能因用户和交互而异。这种复杂性使得准确区分一致性与真正兴趣变得具有挑战性，而这对于提供更有帮助的增强 SSL 信号至关重要。

提出： 一种带有自适应增强的去偏见跨视图对比学习方法，其中包含交互级别的一致性。作者开发了一个多通道一致性加权网络（CWNet）来计算交互的一致性程度。通过将估计的符合度纳入对比学习范式中，我们可以自适应地确定正则化强度。这使得模型能够更有效地将用户兴趣与从众行为分开。

**多通道一致性加权网络。**在 CWNet 模块中，目标是从三个语义通道 ( User-Specific Conformity Influence、Consistency with Other Users、Subgraph Isomorphic Property ) 学习用户 $u$ 和项目 $v$ 之间交互的一致性程度。

一致性感知对比增强。 为了通过自适应去偏增强来增强 DCRec，作者将一致性因子集成到嵌入对比范式中，以确定一致性正则化强度。顺序视图和协作视图都是通过不同的编码器（即 Transformer 和 GNN）生成的。 DCRec 采用对比学习 (CL) 从两个关键维度学习一致性感知增强表示。

（文章的详细方法解释和介绍请看论文）

总结

生成的。 DCRec 采用对比学习 (CL) 从两个关键维度学习一致性感知增强表示。

（文章的详细方法解释和介绍请看论文）

总结

这篇论文提出了一种新的序列推荐方法，称为DCRec。DCRec通过自适应的顺从意识增强（adaptive conformity-aware augmentation）将序列模式编码与全局协同关系建模统一起来。这种方法旨在解决推荐系统中的流行度偏差问题，并通过对比学习框架有效捕获序列内物品转换的模式以及跨序列用户间的依赖关系。通过实验验证了其有效性，并通过公开代码促进了社区的进一步研究和应用。