多行为顺序推荐的多粒度偏好增强Transformer

 论文：https://arxiv.org/pdf/2411.12179

 代码：https://github.com/hchchchchchchc/MGPT

关键词：序列推荐，多行为推荐，图神经网络，多粒度学习

代码基于recbole，是人大的团队提出的一个集成平台，这篇论文新了解多行为推荐的可以看一下。

1 动机

还是老生常谈的多行为序列推荐面临的挑战：

1 多行为依赖建模的不足：现有的多行为序列推荐方法通常只在行为层次或项目层次建模异构的多行为依赖关系，但在交互层次建模这些依赖关系仍然是一个挑战。尽管大多数方法考虑了用户行为的不同类型（例如点击、购买等），但它们没有深入挖掘用户在不同行为之间的交互和依赖关系，尤其是在多个行为交织的复杂情况下。

2 难以捕捉动态多粒度偏好： 在交互序列中，捕捉到动态的多粒度偏好是困难的，而这种偏好正是用户行为的细微差别和互动模式的反映。传统方法未能有效捕捉到这种行为感知的序列模式，尤其是如何根据不同时间和场景捕捉用户偏好的变化，如下图所示：

男孩的交互序列由两个主要会话组成。第一次包括手机和耳机，反映了电子产品的意向。第二部分包括篮球鞋和篮球衫，展示了对运动的兴趣。这两个不同的交互显示了动态的用户偏好。从单次交互的深度来看，当我们只关注一次互动时，比如购买一双篮球鞋，我们可能只会认为他对收集球鞋感兴趣。然而，当我们结合其他的互动，比如购买篮球球衣，我们会发现他实际上对打篮球这项运动很感兴趣，这揭示了多粒度的偏好。

---

2 贡献

• 交互感知依赖提取器：首先根据用户历史行为中的项目与行为之间的交互关系（项目级和行为级的多行为依赖关系）构建一个可学习的图结构，通过图卷积操作迭代建模不同行为间的依赖关系。在不同的阶层次上（低阶到高阶）逐步学习交互层次的多行为依赖，从而提升对复杂交互的捕捉能力。。

• 多面序列模式生成器：通过结合时间尺度、行为感知的多粒度偏好，捕捉用户行为的动态变化：采用Transformer的自注意力机制，首先通过线性注意力对顺序模式进行建模；通过多粒度的自注意力机制，针对不同时间段（交互）的多行为偏好进行建模，捕捉用户在不同时间尺度上的行为变化；通过聚合每个时间会话中的多粒度偏好表示，最终融合时间效应，以形成完整的顺序交互模式。

---

3 Model

3.1 交互感知依赖提取器

在多行为推荐中，多行为依赖包括项级依赖和行为级依赖。以前的工作中将这两种类型的依赖关系以异步或独立的方式建模，这降低了推荐的有效性。因此该文在交互级对多行为依赖进行建模，以同步和集成的方式对项目级和行为级依赖进行建模。

3.1.1 交互感知上下文嵌入层

对项目级和行为级上下文信息进行联合编码，item embedding cat 行为embedding：

3.1.2 交互级图构造 

给定历史交互序列𝑀𝑠𝑢的用户𝑢，我们将这些交互转换成一个完全连通的无向图G𝑠𝑢。引入关联矩阵A学习交互级多行为依赖，同时考虑了项目级和行为级语义：

 3.1.3 多阶交互级依赖学习

使用图卷积获得从低阶到高阶的依赖关系表示：

3.2 多面序列模式生成器

3.2.1 序列信息注入

将得到的graph embedding 转换成序列，不满足序列长度的进行padding：

3.2.2 全局序列模式编码

利用线性自关注层对全局序列模式进行编码：

为了降低复杂度，分别对𝑸和𝑲执行行和列方向的𝐿2归一化。

3.2.3 时态多粒度偏好编码（局部）

全局顺序模式反映了用户长期稳定的偏好。然而，用户的短期偏好在不同的时间尺度上是不同的，并且是波动的。为了模拟短期偏好，我们首先将交互序列划分为会话：

用户偏好在不同的层次上是不同的。使用多粒度多头自注意层，对按不同时间尺度划分的会话中的多粒度偏好进行编码。由于用户交互序列最后一个行为通常是用户当前意图的体现，为了创建多粒度的用户意图，将会话中最后一项分组。然后，将它们连接到组内以形成原始组表示。最后，对这些组表示进行线性转换，以表示多粒度的用户查询：

 并将它们连接成一个完整的查询矩阵使用多头注意力并对权值进行𝐿𝑝池化，以平衡不同查询粒度的影响：

3.2.4 融合 

归一化，激活函数，权重＋bias

 没啥总结的，就看这篇论文是比较新的多行为推荐。