【文献阅读】 2020-WWW-Attentive Sequential Models of Latent Intent for Next Item Recommendation

说明

1.原文链接。

2.WWW2020其他推荐系统文章。

3.本人及翻译软件的翻译水平有限，粗读即可，精读请看原文。

标题

1.题目：基于潜在意图的注意力序列模型给下一个项目推荐 Attentive Sequential Models of Latent Intent for Next Item Recommendation

2.作者：​​​​​​

摘要

  用户在电子商务服务中表现出不同的意图（如发现商品、购买礼品等），这促使他们以多种方式（如单击、添加到购物车、添加到收藏夹、购买）与各种商品进行交互。为了给出更好的推荐，除了考虑用户的历史交互之外，捕获用户意图也是很重要的。然而，根据定义，这些意图是潜在的，因为我们只观察用户的交互，而不是他们的潜在意图。为了发现这些潜在意图，并有效地利用它们进行推荐，本文提出了一个潜在意图注意序列模型（简称ASLI）。我们的模型首先通过一个自我注意层从用户的交互历史中学习项目相似性，然后使用一个时间卷积网络层从用户对特定类别的行为中获得用户意图的潜在表示。我们使用这个表示来指导注意模型预测下一个项目。我们的实验结果表明，我们的模型能够捕捉用户行为和偏好的动态变化，从而在来自Etsy和Alibaba两个主要电子商务平台的数据集上获得最先进的性能。

1.介绍

  推荐系统的基本目标是从用户可能与之交互的大量项目中推荐候选人。为了实现这一目标，人们提出了各种系统来学习用户的偏好[7，16，23]。工业应用中一种流行的技术是协作过滤（CF），它利用用户最有可能与与其历史交互项目相似的项目交互的观察结果[12]。为了扩展这一概念，各种模型进一步寻求捕捉用户反馈的顺序动态[10，18]。一般来说，这些模型是在单一的交互类型（例如购买或点击）上进行训练的，并且不会进一步将预测分解为不同的动作或意图类型。

  实际上，用户意图可以根据上下文进行更改。考虑一下电子商务中的一个典型设置：用户可以单击项目，将其添加到自己的收藏夹或购物车中，或者在满足条件时购买它们。根据用户的意图和偏好，与其他人相比，她更可能在特定时间点对某个项目执行一种类型的交互。例如，考虑一个用户打算购买产品的情况；很自然，他们将单击、添加到购物车并最终购买的项目之间会有相似之处。因此，要推荐下一次购买，不仅要考虑用户以前购买过什么，还要考虑她过去查看过或添加到购物车中的产品。或者，另一个用户可能只是浏览产品并将其添加到购物车中，而没有立即购买的意图；这类商品可能具有共同的属性（例如价格、美观），但可能与最终购买的商品（例如更便宜的替代品）不同。因此，一个意图（探索）导致不同的互动相比，另一个（购买）。因此，我们可以尝试推荐满足用户当前目的的项目。我们认为这是当前推荐系统无法区分意图类型（甚至交互类型）的潜在限制。

  基于以上观察，我们寻找一个既能发现时间相似性又能捕捉用户意图的系统。这项任务提出了若干挑战。首先，虽然意图和交互是相关的，但它们并不相同；虽然我们可以直接观察用户的交互，但它们的意图是潜在的。因此，必须从用户的交互中推断出潜在意图。此外，用户的意图可能会逐渐演变（交互之间的长期依赖关系）或突然演变（短期依赖关系），这使得很难从嘈杂的操作列表中检测出这种漂移。

  本文针对这些挑战，提出了一种注意序列最新模型（ASLI），它利用自我注意和时间卷积网络来发现项目之间的相似性，捕捉用户的隐藏意图，并关注它们。首先，我们在用户与之交互的所有过去项目上应用自我注意层，以从序列中发现项目的相似性；然后，我们考虑用户在给定类别上执行的交互，并应用时间卷积网络来推断用户的潜在意图。最后，我们应用另一个注意层来解决项目和意图之间的长期和短期依赖关系。这在学习用户对项目的隐藏偏好方面被证明是有效的。我们进一步在两个电子商务网站Etsy和阿里巴巴的真实数据集上展示了我们的模型的有效性。实验表明，该模型能够获得序列预测任务的最新性能。

2.动机

2.1作为交互的类别上的操作

  在电子商务环境中，项目的数量通常远远大于类别的数量，因此用户-项目交互比用户-类别交互要稀疏得多。例如，对于Etsy，稀疏性（观察到的可能交互的分数）在用户项级别仅为0.02%，而在用户类别级别为1.68%。这意味着从行为中推断意图可能比从类别中推断意图更困难。为了更好地理解稀疏性问题，请考虑一个用户在“发现”状态下单击“婚纱”类别中的项目的情况。当她发现有趣的东西时，她把它们放进购物车里。但最终她改变了“购买”的意图，因为她从“礼物和纪念品”类别中找到了更便宜的商品。如图1（a）所示。在用户与“婚纱”中的特定商品进行交互后，可能很难从“礼物和纪念品”中检测出对特定商品的微妙兴趣，因为它们只是各自类别中许多商品中的两个实例。然而，“礼物与纪念品”和“婚纱”之间的联系要简洁得多，而且随着从一个类别到另一个类别的转换数据越来越密集，我们可以更容易地了解用户的兴趣。基于这些原因，我们考虑用户的类别交互以发现潜在意图。

2.2 意图的潜在因素模型

  为了更好地理解意图为什么是一个重要因素，我们尝试在观察到的状态（即项）和我们定义的交互之间建立依赖关系。如果我们希望预测两者，我们将根据过去项目和交互作用的顺序计算它们的联合概率。具体来说，如果我们想计算用户u的下一个项P和下一个交互i的概率，那么联合概率可以表示为：$P(p,i|S_p^u,S_i^u).$ 在这里，$S_p^u$和$S_i^u$ 分别为历史访问的项目和历史进行的交互的序列。有几种方法可以根据变量之间的相互依赖性假设（例如，项依赖于交互，反之亦然）来分解此概率。基于这个假设，分解可以变得简单也可以变得复杂。例如，如果我们假设项依赖于交互作用，那么因子分解变成：$P(i|S_i^u)P(p,i|S_p^u,S_i^u)$。如果假设相互作用依赖于项，则可以导出类似的构造。如果我们假设项目和交互作用都是条件独立的，并且给定了其他潜在变量，那么我们可以简化相同联合概率的分解。我们把这个变量表示为$\theta$。然后，将联合概率分解如下：
$$P(p,i|\theta ,S_p^u,S_i^u)=P(p|\theta ,S_p^u)\times P(i|\theta ,S_i^u)$$
  直观地说，我们在这里引入的潜在变量可以定义为内容的某种表示（购物、浏览、发现新项目等）。我们将此称为用户的“潜在意图”，并设计一个可以参与其中的模型，以便给出更好的推荐。

3. 提出的模型

3.1 问题定义

  表1中描述了标记。我们考虑了从交互项中捕获用户的隐藏意图以获得最相关的下一项推荐的问题。为此，我们将潜在意图定义为用户互动的一种表示形式，可用于预测（或“解释”）下一项和下一项互动。假设 P = { 1 , … , p , … , ∣ P ∣ } \mathcal{P}=\{1,\dots,p,\dots,|\mathcal{P}|\} P={ 1,…,p,…,∣P∣}是所有产品的集合， C = { 1 , … , c , … , ∣ C ∣ } \mathcal{C}=\{1,\dots,c,\dots,|\mathcal{C}|\} C={ 1,…,c,…,∣C∣}是所有类别的集合，并且 A = { 1 , … , a , … , ∣ A ∣ } \mathcal{A}=\{1,\dots,a,\dots,|\mathcal{A}|\} A={ 1,…,a,…,∣A∣}是所有动作的集合。如果用户对类别$c$中的项目$p$采取动作$a$，则$\mathbf{p}，\mathbf{c}和\mathbf{a}$是产品，类别和动作的对应$d$维嵌入。如上所述，我们已将互动定义为特定类别（即$\mathbf{i}=\mathbf{c}+\mathbf{a}$）中动作的组合。然后，我们将问题表达如下：给定一系列产品和用户交互，${\mathcal{S}}^u=(<{\mathbf{p}}^1,{\mathbf{i}}^1>,<{\mathbf{p}}^2,{\mathbf{i}}^2>,\dots ,<{\mathbf{p}}^{|{\mathcal{S}}^u|},{\mathbf{i}}^{|{\mathcal{S}}^u}$