KDD 2022 | 多行为序列推荐系统

©PaperWeekly 原创 · 作者 | 杨雨豪

单位 | 香港大学

研究方向 | 推荐系统

论文题目：

Multi-Behavior Hypergraph-Enhanced Transformer for Sequential Recommendation

收录会议：

KDD 2022

论文链接：

https://arxiv.org/pdf/2207.05584.pdf

代码链接：

https://github.com/yuh-yang/MBHT-KDD22

港大数据智能实验室（指导老师：黄超）

https://sites.google.com/view/chaoh

研究背景

旨在学习动态用户偏好的序列推荐（Sequential Recommendation）任务已经成为许多在线平台（如视频分享网站、电子商务系统）的一个重要的组成部分。已有的工作在建模用户序列中的动态兴趣方面已经做了很多成功。这些模型基于各种架构，例如，循环神经网络（GRU4Rec）和自注意力机制（SASRec）。在这一任务最新的进展中，图神经网络（GNN）也被越来越多研究者作为骨干模型。

尽管这些方法都在 benchmark 中报告了阶段性的 SOTA 表现，然而现有的方法都集中在单一类型的互动的商品序列表示上，因此对于捕捉用户和商品之间在序列上表现出的动态异质关系结构（例如，点击、页面浏览、收藏、购买）是有限的。在实际的在线平台上，用户行为往往同时表现出时间依赖性和交互类型的异质性，涉及不同类型的用户-商品互动。

上图（a）中展示了一个 Tmall 数据集的例子，这一用户在时间序列上以不同的方式交互了不同的商品。我们还在（b）中可视化了 SOTA 模型 BERT4Rec 和我们提出的 MBHT 模型所学到的权重分别在同一商品的短期的多行为依赖性（在相邻的交互 [4], [5], [6] 之间）和长期的多行为依赖关系（在 [2], [13], [15] 之间）的表现。

在这个场景中，我们更希望模型关注到用户在序列上对于同一商品的不同交互行为。容易发现，相比于捕捉短期多行为语义依赖的容易，BERT4Rec 很难注意到跨度较长的有效语义依赖。而我们提出的 MBHT 模型则更好地建模了这一重要的语义关系。

总的来说，通过对动态序列中的异质用户-商品互动的探索，有效地增强用户偏好学习，是在多行为序列推荐任务下做出准确的排序的关键。然而，我们的挑战存在于：

1. 动态的、行为感知的商品转移关系。对于不同类别的物品（如日常用品、季节性服装），存在不同的周期性行为模式（如每天、每周、每月）。因此，有必要显式地捕捉行为感知的商品转移关系在不同时间粒度上反映的用户兴趣。

2. 用户个性化的全局多行为交互。不同类型的行为之间的隐性依赖关系因用户而异。例如，对于感兴趣的商品，一些用户希望将商品加到收藏夹中，而另一些人只会将那些非常可能购买的商品加入收藏。此外，多行为项目的依赖性超出了 pairwise 的关系，可能会表现出三阶或四阶的高阶关系。因此，所设计的模型需要对不同用户的多行为依赖关系进行有针对性的建模，并采用动态多阶关系学习范式。

因此，为了应对这一挑战，我们设计了一个多行为超图增强的 Transformer 框架（MBHT），以在交互序列中捕捉短期和长期的跨行为依赖。基于不同范式的低秩注意力，我们设计了一个多尺度的 Transformer 以联合编码来自细粒度和粗粒度的行为感知的序列用户兴趣。

此外，我们将全局的多行为依赖性建模纳入到超图神经网络中，以个性化的方式捕捉不同用户的长程行为关联。实验结果表明，我们的 MBHT 在不同的环境中比各种先进的推荐解决方案更有优势。