[2022-KDD] Towards Universal Sequence Representation Learning for Recommender Systems

最新推荐文章于 2023-12-15 19:36:53 发布

coder_ZYM

最新推荐文章于 2023-12-15 19:36:53 发布

阅读量624

点赞数

分类专栏：文献阅读文章标签：人工智能算法

本文链接：https://blog.csdn.net/weixin_43549643/article/details/127861801

版权

文献阅读专栏收录该内容

3 篇文章 0 订阅

订阅专栏

Towards Universal Sequence Representation Learning for Recommender Systems

0. 摘要

有许多序列表示学习被提出对用户的历史行为进行建模，这些方法由于建模物品ID的限制，很难迁移到新的推荐场景中。对此我们提出了UniSRec，一个通用的序列表示学习方法。这个方法使用物品的相关描述文本从不同的推荐场景中学习可以迁移的表示。这个方法有两种类型：对于学习通用物品表示，我们设计了一个轻量的编码结构。对于学习通用序列表示，我们通过采样多域负值引入了两个对比预训练任务

1. 介绍

在序列推荐中有很多方法，尽管所采用的技术不同，但是现有方法的核心思想是相似的：先将用户行为公式化为与项目按时间顺序的交互序列，然后开发有效的架构来捕捉用户偏好的顺序交互特征。大多数现有的SRL推荐方法都依赖于明确的项目ID来开发序列模型。这类建模方法的主要问题是学习到的模型很难转移到新的推荐场景中。

我们所设计的SRL的核心思想：利用项目的相关描述文本（如产品描述、产品名称或品牌），称为项目文本，学习跨不同领域的可转移表示。目前有两大问题有待于解决。首先，文本语义空间不适合直接应用在推荐任务。目前尚不清楚如何建模和利用项目文本来改进推荐性能，因为直接引入原始文本表示作为附加特征可能会导致次优结果。第二，很难利用多域来改进目标域，经常会出现多种特定域的模式中学习是冲突的。

我们的方法将一般交互序列作为输入，并基于预训练方法学习通用ID不可知表示。我们关注下也许通用物品表示和通用序列表示的两个关键点。为了学习通用项目表示，我们设计了一个基于参数白化和MoE-增强适配器混合的轻量级架构，该架构可以导出更各向同性的语义表示，并增强域融合和自适应。为了学习通用序列表示，我们引入了两种对比学习任务，即序列项目和序列序列对比任务，通过对多域否定进行采样4

研究表明，顺序行为是反映用户偏好的重要信号，因此顺序推荐受到了研究和行业界的广泛关注。然而这些方法的物品表示和模型参数提出局限于特定的数据域或平台。

推荐系统中的迁移学习

为了解决推荐系统中的数据稀疏性和冷启动问题，各种工作旨在利用来自其他域或平台的行为信息来提高目标域或两个域的推荐性能。我们提出的方法不要求源域和目标域密切相关。

2. 方法

在这里插入图片描述

2.1 方法概述

一般输入公式

我们的方法将一般交互序列作为输入。我们以交互序列的一般形式（按交互的时间顺序）来表示用户的行为序列。

其中每一个item i=（和ID 、ti有关系）与唯一的物品ID和描述文本相关联。我们称物品的描述文本为ti
在这里插入图片描述

wj来源于共享词表，c表示文本的截断长度。

我们将用户的多个交互序列视为不同的序列，而不明确维护每一个序列的用户ID。在我们的方法中，物品ID是辅助信息，我们主要利用物品描述文本来道出一般化的ID不可知的表示。除非特别说明，否则物品ID不会用作我们方法的输入。

方案

为了解决学习跨域的可转移表示，我们确定了学习通用物品表示和通用序列表示。

为了学习通用物品表示，我们将重点放在基于参数白化的MoE-enhanced适配器的域融合和自适应上。为了学习通用序列表示，我们通过采用多域的负样本引入了两种对比学习任务，即序列项目和序列序列对比任务

2.2 通用的文本化物品表示

通用顺序行为建模的第一步是将来自各种推荐场景的物品表示到统一的语义空间中。我们首先利用预训练语言模型（PLM）来学习文本embedding。由于来自不同领域的派生文本表示可能跨越不同的语义空间（即使使用相同的文本编码器），我们提出了参数白化和MoE增强适配器技术，以将文本语义转换为适合推荐任务的通用形式。

2.2.1 通过预训练语言模型编码文本化物品

我们使用BERT模型来学习通用文本表示来表示物品。具体操作是在这里插入图片描述

2.2.2 通过参数白化来语义转化

现有研究表明，BERT为一般文本诱导了异性语义空间，所以我们采用了简单的线性变化来改变原始的BERT表示，以导出各向同性语义表示。我们在白化变化中加入了可学习的参数以更好地推广到未知域。

在这里插入图片描述

b和W1表示可以学习的参数。

2.2.3 通过MoE的适配器进行域融合和自适应

为了学习通用物品表示，一个重要的问题是如何跨域传递和融合信息，因为不同域之间存在着很大的语义差距。我们的解决方案是我们学习一个物品的多个白化embedding，利用这些embedding的自适应组合来作为通用物品表示。我们使用MoE结构来学习更多一般物品表示。特别是，我们将G定义为白化转化模块的专家，然后构建基于参数化路由器的MoE增强适配器。

在这里插入图片描述