【UBA】用户行为建模多篇论文概述

原始题目：Calendar Graph Neural Networks for Modeling Time Structures in Spatiotemporal User Behaviors

中文翻译： 基于日历图神经网络在时空用户行为中建模时间结构

发表时间：2020年6月11日

平台：KDD’20

来源：University of Notre Dame, Notre Dame, IN 46556, USA

文章链接：https://arxiv.org/pdf/2006.06820v1.pdf

开源代码：https://github.com/DM2-ND/CalendarGNN

摘要

        用户行为建模对于工业应用很重要，比如人口统计属性预测、内容推荐和目标广告。现有方法将行为日志表示为被采用 items 的序列，并找到序列模式; 然而，行为日志中具体的位置和时间信息，反映动态和周期性的模式，结合空间维度，可以对用户建模和预测他们的特征。在这项工作中，我们提出了一种基于图神经网络的新模型，用于从时空行为数据中学习用户表示。一个行为日志包括一个会话的序列; 一个会话有一个位置、开始时间、结束时间和一个被采用 items 的序列。我们的模型架构包含了两个网络架构。一个网络架构是 items、会话和位置的一个三部分组成的网络。另一个是由 hour, week 和weekday 节点组成的分层日历网络。它首先通过那个三部分组成的网络将位置和 items 的嵌入聚合到会话嵌入中，然后通过日历结构从会话嵌入生成用户嵌入。用户嵌入保留各种周期性的空间模式和时间模式(例如，hourly, weekly,和weekday 模式)。它采用 attention 机制对用户行为中多种模式之间的复杂交互进行建模。在真实数据集上的实验(例如，在移动应用程序中点击新闻文章)表明，我们的方法在预测缺失的人口统计属性方面优于强大的基线。

​图1:我们的框架结合了日历结构来建模时空模式(包括multi-level 周期性)，以预测缺失的人口属性。

---

原始题目：Multi-Interest-Aware User Modeling for Large-Scale Sequential Recommendations

中文翻译： 大规模序列推荐的 Multi-Interest-Aware 用户建模

发表时间：2021年5月18日

平台：

来源：Microsoft Research Asia

文章链接：https://arxiv.org/pdf/2102.09211v3.pdf

开源代码：GitHub - microsoft/recommenders: Best Practices on Recommendation Systems

摘要

        精准的用户建模对于在线个性化推荐服务至关重要。一般来说，用户的兴趣是多样化的，不局限于某一个方面，当他们的行为被观察的时间越长，这一点就越明显。例如，在Tik Tok上浏览短视频时，用户可能表现出对猫/狗、舞蹈和食物与美食的兴趣; 同一用户在浏览网页时，可能会对房地产和女性服装产生兴趣。传统的模型往往将用户的行为编码到单个嵌入向量中，无法有效地捕捉用户的不同兴趣。

        本文提出了一种序列用户矩阵(Sequential User Matrix (SUM))来准确、高效地捕捉用户的不同兴趣。SUM用一个多通道网络来模拟用户行为，每个通道代表用户兴趣的不同方面。不同通道中的用户状态由一个具有兴趣级和实例级注意力（interest- and instance-level attention）的擦除-添加（erase-and-add）范式更新。我们进一步提出了局部邻近debuff分量和高速公路连接分量（ a local proximity debuff component and a highway connection component），使模型更加稳健和准确。SUM可进行增量维护和更新，可用于大规模的在线服务。我们在两个数据集上进行了广泛的实验。结果表明SUM始终优于最先进的基线。

​ ​图1:我们的近实时(NRT)推荐服务系统概述。数字只是为了更好地理解，并不一定意味着确切的执行顺序。

---

原始题目：Contrastive Learning of User Behavior Sequence for Context-Aware Document Ranking

中文翻译： 基于上下文感知文档排序的用户行为序列对比学习

发表时间：2021年8月24日

平台：CIKM ’21

来源：Université de Montréal, Montréal, Québec, Canada

文章链接：https://arxiv.org/pdf/2108.10510v1.pdf

开源代码：GitHub - DaoD/COCA: CIKM 2021: Contrastive Learning of User Behavior Sequence for Context-Aware Document Ranking

摘要

        搜索会话中的上下文信息已被证明对捕获用户搜索意图非常有用。已有研究以不同的方式探索会话中的用户行为序列，以提高查询建议或文档排名。然而，用户行为序列通常被认为是反映用户行为的明确而准确的信号。实际上，它是高度可变的:用户对相同意图的查询可能是不同的，并且可以单击不同的文档。为了学习更鲁棒的用户行为序列表示，我们提出了一种基于对比学习的方法，该方法考虑了用户行为序列可能的变化。具体来说，我们提出了三种数据增强策略来生成相似的用户行为序列变体，并与其他序列进行对比。这样做，模型就不得不在可能的变化方面更加健壮。将优化后的序列表示引入到文档排序中。在两个真实查询日志数据集上的实验表明，我们提出的模型明显优于最先进的方法，这证明了我们的方法在上下文感知文档排序方面的有效性。

---

原始题目：PTUM: Pre-training User Model from Unlabeled User Behaviors via Self-supervision

中文翻译：PTUM: 基于自监督的无标签用户行为预训练用户模型

发表时间：2020年10月4日

平台：CIKM ’21

来源：清华大学电子工程系

文章链接：​​​​​​​https://arxiv.org/pdf/2010.01494v1.pdf

开源代码：​​​​​​​https://github.com/wuch15/PTUM

摘要

        用户建模对于许多个性化web服务来说是至关重要的。现有的许多方法基于用户的行为和目标任务的标记数据对用户进行建模。然而，这些方法不能利用未标记的用户行为数据中的有用信息，并且当标记数据稀缺时，它们的性能可能不是最优的。基于大规模未标记语料库上的预训练语言模型，本文提出了大规模未标记用户行为数据的预训练用户模型。我们提出了两个预训练用户模型的自监督任务。第一个是掩蔽行为预测，它可以模拟历史行为之间的相关性。第二种是next K行为预测，它可以模拟过去和未来行为之间的联系。预训练的用户模型在下游任务中进行微调，以学习特定于任务的用户表示。在两个真实数据集上的实验结果验证了本文提出的用户模型预训练方法的有效性。

图1：一个通用的用户模型框架。

图2:预训练用户模型的两个自监督任务框架

4. 结论

        本文提出了一种有效的用户模型预训练方法PTUM，该方法可以从未标注的用户行为中预训练用户模型。在我们的方法中，我们提出了两个用户预训练模型的自监督任务。第一个是掩蔽行为预测，第二个是next K行为预测，它可以帮助用户模型捕捉到历史行为之间的相关性以及过去和未来行为之间的相关性。在两个真实数据集上针对不同任务进行的大量实验表明，预训练的用户模型能够持续提高各种用户建模方法的性能。

---

 其他：推荐系统通用用户表征预训练研究进展 - 知乎