论文阅读综述04——综述了十多篇sequential REC/session REC论文的解决的问题和解决方案以及模型图

今天老师要找开会，我把这个星期整理的综述发给老师了，主要按照每篇解决的问题、解决方案、模型图这三个部分写了一篇简洁的综述。

1. 2020-WWW-Attentive Sequential Models of Latent Intent for Next Item Recommendation

解决的问题：

根据用户的意图和偏好，与其他人相比，她更可能在特定时间点对某个项目执行一种类型的交互。例如，考虑一个用户打算购买产品的情况；很自然，他们将单击、添加到购物车并最终购买的项目之间会有相似之处。因此，要推荐下一次购买，不仅要考虑用户以前购买过什么，还要考虑她过去查看过或添加到购物车中的产品。或者，另一个用户可能只是浏览产品并将其添加到购物车中，而没有立即购买的意图；这类商品可能具有共同的属性（例如价格、美观），但可能与最终购买的商品（例如更便宜的替代品）不同。因此，一个意图（探索）导致不同的互动相比，另一个（购买）。因此，我们可以尝试推荐满足用户当前目的的项目。我们认为这是当前推荐系统无法区分意图类型（甚至交互类型）的潜在限制。

解决方案：

提出了一种注意序列最新模型（ASLI），它利用自我注意和时间卷积网络来发现项目之间的相似性，捕捉用户的隐藏意图，并关注它们。首先，我们在用户与之交互的所有过去项目上应用自我注意层，以从序列中发现项目的相似性；然后，我们考虑用户在给定类别上执行的交互，并应用时间卷积网络来推断用户的潜在意图。最后，我们应用另一个注意层来解决项目和意图之间的长期和短期依赖关系。这在学习用户对项目的隐藏偏好方面被证明是有效的。

模型图如下：

在ASLI中，我们首先将自我注意应用于项目序列，以计算来自所有位置的项目的相似度。我们不再将自我关注应用于这些输出，因为我们想要探索项目序列的哪一部分与用户隐藏的意图最相关。为了捕捉潜在的意图，直观地说，我们需要一个隐藏的表示，而不是用户的行为。如前所述，这带来了独特的挑战，因为用户的逐项操作非常稀疏。为了缓解稀疏性问题，我们的关键建模决策之一是将类别操作视为交互。在ASLI中，我们选择TCN来从这些交互中获取特性，因为它相对较浅且易于并行化。稍后，为了确保这个潜在特征捕捉到意图，我们使用它对下一次交互(通过前馈网络)和下一项(通过共同注意的转换器层)进行双重预测。我们在第一层的输出(计算项目相似性)之间进行共同关注，并发现隐藏的意图，因为我们希望解决它们之间的长期和短期依赖关系，并更好地了解项目与用户意图的相关性。

 

2.2020-WWW-A Contextualized Temporal Attention Mechanism for Sequential Recommendation

解决的问题：

大多数顺序推荐系统的算法关注于对用户行为的结构，但是却忽略了时间和上下文的信息。作者认为用户过去的行为对现在行为的影响会随着时间和上下文发生变化。主要的两个问题是挖掘用户历史行为中的temporal和context信息和利用Contextualized Temporal Attention Mechanism来学习用户过去行为的权重（不仅关注行为本身，还关注其发生的时间和原因）。

解决方案：

我们提出了文本化时间注意机制(CTA)，这是一种基于注意力的顺序神经结构，它不仅通过事件相关性，而且还通过时间和上下文信息共同为顺序行为建模提取历史交互之间的依赖关系。在这个机制中，我们通过三个设计问题来衡量每个历史动作在当前预测中的历史影响:(1)动作是什么?这种依赖性最初是建立在通过自我注意机制的行为相关性之上的，即这样的行为是如何与当前状态相关联的。(2)何时发生的?由于时间动力学在决定其与存在的联系强度方面也应发挥重要作用，因此也要根据其与预测活动的距离来衡量其影响。时间权重因子是实现为输出的混合，每个来自不同的参数化核函数，映射的输入时间间隙到一个具体的上下文的时间动态。这种混合的比例是由周围的因素决定的，从周围的行动推断。

模型图如下：

 

模型共分为三个部分：content-based attention，temporal kernels和contextualized mixture。α阶段：what is the action：输入序列embedding表示X，经过dl​个self-attentive encoder块（dh​个heads， da​个隐藏单元）后得到Hdl​。β阶段：when did it happen：基于观察：用户随意浏览的物品对短期的影响会急剧下降，但是在长期来说仍有着重要的作用。用户仔细浏览过的物品对用户短期的兴趣有着重要的作用。所以，文章提出了很多temporal kernels来建模这种时间变化，不同的kernel函数；γ阶段：how did it happen：这一阶段的目标是基于提取到的context信息融合前两个阶段获得的content和temporal信息。使用Bidirectional RNN结构来获得context信息。从输入序列embedding表示X中，我们可以计算得到循环隐藏层的状态。

 

3. 2020-WWW-Intention Modeling from Ordered and Unordered Facets for Sequential Recommendation

解决的问题：

首先，受商品属性的影响，不同的用户可能有相似的购买意向，而其他用户的序列可能会影响当前的用户意向。如虚线2所示，两个用户通常在购买面包后购买牛奶，在购买新手机后购买手机壳。如果只考虑局部序列依赖，就不可能准确地理解用户的潜在意图。第二，用户不仅会为不同的项目生成不同的意向，而且还会针对特定项目的不同特征生成不同的意向。以不同的方式处理物品特征可能会促进更多的准确理解用户意图。当用户选择品牌时，可能会更在意品牌的价格。第三，用户的意图是灵活的，并且随着时间的推移而变化，因此，必须同时考虑用户的动态偏好和灵活的动机。现有的顺序推荐方法大多采用基于顺序机制的模型来描述序列依赖关系，从而忽略了项目之间的灵活依赖关系。这些方法高估了项目之间的顺序依赖的强度，这可能会导致产生噪声依赖和错误地学习用户意图[18]。如虚线3所示，考虑到示例中的女性最近购买的历史序列，很明显，手机和手机外壳之间有很强的相关性。如果我们过多地关注项目之间的顺序依赖关系，手机和手机外壳之间的相关性将是忽略了。

解决方案：

相应地在上述三个问题的启发下，我们引入了一种从有序面和无序面进行意向建模（IMfOU）的方法来学习用户的动态潜在意图，并考虑了两种类型上下文信息：关于购买的顺序信息和周期性信息。具体来说，我们提出了一种基于图神经网络和注意机制的全局和局部项目嵌入方法。该方法可以全面捕捉信息中的顺序上下文，突出用户关心的项目特征。此外，我们还设计了有序偏好漂移学习（OPDL）和无序购买动机学习（UPML），分别获得用户的动态偏好和购买动机。它将用户的动态偏好和当前动机相结合，不仅考虑了商品之间的顺序依赖关系，而且考虑了柔性依赖关系，分别从订单和非订单两个方面对用户的购买意愿进行了更准确的建模。最后，通过匹配用户的购买意愿和目标商品，利用融合层来预测用户下一步是否会购买目标商品。

模型图如下：

如图2所示，IMfOU包含三个主要层：全局和局部项嵌入（GLIE）层、潜在用户意图建模层和融合层。在这里，潜在用户意图建模主要由OPDL和UPML组成。此外，在GLIE中，每一项都可以表示为一个唯一的向量，它可以捕获所有用户的全局序列上下文信息，并突出用户意图追求的重要特征。在潜在用户意向建模层，有序偏好漂移学习（OPDL）和无序购买动机学习（UPML）分别获得用户的动态偏好和当前购买动机。它将基于有序的机制和基于无序的机制相结合，不仅考虑了顺序依赖，而且考虑了灵活的依赖关系。最后，基于MLP的融合模型结合用户的动态偏好和无序的购买动机，确定用户的购买意愿，并预测当前用户是否会购买目标项目。

 

4.2020-WWW- Future Data Helps Training- Modeling Future Contexts for Session-based Recommendation

解决的问题：

用户很可能会以任意顺序点击这三件物品。因此，并不是必须将用户会话建模为严格的序列。其次，推荐的目的是准确估计用户的偏好，使用更多的数据有利于偏好估计。由于目标交互后的未来数据也是用户引用的证据，因此有理由相信对未来数据进行建模可以帮助建立更好的目标交互预测模型。然而，用未来数据建模是一个挑战，因为它违背了机器学习的原则，如果处理不当会导致数据丢失

解决方案：

在机器翻译中，在预测序列中的目标词时(即，编码器将两边的单词作为输入源。由于源词和目标词来自不同的域，所以不存在数据泄漏的问题。然而，如果我们将相同的ED架构应用于用户会话建模，如图1 (b)所示，不可避免地会出现数据泄漏问题。这是因为源条目和目标条目来自相同的域，这样目标条目(由解码器预测)恰好出现在编码器的输入中。为了解决上述问题，我们提出了一种新的SRS方法来建模未来的上下文:基于间隙填充的编码器-解码器框架工作的顺序推荐，或简称GRec。GRec修改了ED的设计，使其适合未来的数据建模，而不需要数据泄露:编码器和解码器由一个空隙填补机制[19]联合训练，它的灵感来自于最近开发的预训练语言模型[3]。具体来说，在用户会话中，通过填写空白符号(如“__”)删除部分条目。编码器以部分完全序列作为输入，解码器根据编码的表示模型对间隙项进行预测。通过这种方式，GRec可以强制编码器知道一般的用户偏好(通过揭露动作来表示)，并同时强制解码器根据过去的环境和已编码的一般用户偏好来生成每个表单下一项。

 

5.2020-SIGIR-Time Matters: Sequential Recommendation with ComplexTemporal Information

解决的问题：

目前的研究在将时间信息整合到时序信息中有一些初步的尝试，但它们大多考虑了不完全（或部分）的时间信息。目前还缺乏对这种综合的时间模式进行全面和彻底建模的努力。

解决方案：

两种典型的用户行为序列的时间模式：绝对时间模式和相对时间模式。绝对时间模式直接将用户的行为序列与时间戳联系起来：在上面的例子中，用户购买衣服的行为与时间直接相关，并随季节而变化。相对时间模式强调行为之间的时间间隔，并可进一步分为两个子类：自我相对时间模式和相关相对时间模式。自相关时间模式，我们可以共同学习这些新的神经网络问题，并提出相应的解决方案时序推荐的时态模式和用户兴趣。对于每个输入序列，引入一个包含一组自动编码的绝对时间模块来嵌入时间这个序列与传统的时间块化方法相比，模块丰富了表示绝对时间的能力。为了得到绝对时间模型，相对时间模型将相对时间效应以显式的形式注入到用户行为序列的两个动作之间的关系中态度。而且在损失函数中引入了时间感知约束，以更好地表示时间信息。

模型图如下：

首先，绝对时态模块将带有时间戳的顺序行为嵌入到密集的向量器中，然后将密集的向量器输入到关联时态模块中，生成目标用户历史行为的语义向量。然后在解码器模块中计算目标用户和候选项目之间的相似度进行预测。绝对时间模块绝对时间模块用于获取绝对时间信息。这个模块的输入包括四个组成:项目的顺序𝒔𝑢,相应的时间序列𝒕𝑢,目标用户𝑢和未来交互时间t。

 

6.2020-SIGIR- Next-item Recommendation with Sequential Hypergraphs

解决的问题：

一个关键问题是如何在这些模型中处理项。具体来说，在某一时间段内的下一项推荐中，我们采用的是在短期内通过用户交互所定义的关系来揭示一个项的意义。此外，如何捕捉项目的动态意义是下一个项目推荐的另一个挑战，因为项目的动态特性可以在时间和用户之间转换。这样的改变可以帮助发现用户的偏好模式。

解决方案：

了解决上述挑战，我们提出了一种新颖的端到端框架，该框架使用序列超图来增强下一项推荐。为了在不同时间段理清短期相关性，HyperRec根据时间戳截断用户交互，以构造一系列hypergraphs。通过hypergraph convolutional network (HGCN)，HyperRec能够将相关项与直接或高阶连接进行聚合，在每个时间段生成动态嵌入。为了对过去时间段内的项目嵌入的影响进行建模，我们开发了一个剩余闸门层，将前一时间段内的动态项目嵌入与静态项目嵌入组合起来，以生成HGCN的输入。随着时间和用户之间的变化，从HGCN得到的嵌入结果将被输入到一个融合层，为每个特定的用户-项目交互生成最终的表示，包括动态的项目嵌入和短期的用户意图。在个性化的下一项推荐中，可以从用户的交互顺序推断出动态用户首选项。因此，我们使用自注意层从交互序列中捕获动态用户模式。在预测用户对一个项目的偏好时，将同时考虑静态和最近的动态项目嵌入。

模型图如下：

 

7.2020-SIGIR- Global Context Enhanced Graph Neural Networks for Session-based Recommendation

解决的问题：

一个会话可能包含多个用户选择，甚至是噪音，因此它们可能在生成所有正确的依赖项方面不够充分，而这些依赖项在嵌入时无法建模复杂的项目转换模式的固有顺序。一个会话可能包含多个用户选择，甚至是噪音，因此它们可能在生成所有正确的依赖项方面不够充分，而这些依赖项在嵌入时无法建模复杂的项目转换模式的固有顺序。

解决方案：

(i)利用其他会话的item-transition可以帮助为当前会话的用户偏好建模。在GCE-GNN中，我们提出从会画图和全局图学习两个层次的项目嵌入:会话图，通过建模当前会话中成对的项目转换来学习会话级别的项目嵌入;(ii)全局图，它通过对成对的项目转换超流(包括当前会话)建模来学习全局级别的项目嵌入。在GCE-GNN中，我们提出了一个全局层次的项表示学习层，该层采用了一种session-aware注意机制，来递归地合并全局图上每个节点的邻居嵌入。我们还设计了一个会话级项目表示学习层，它在会话图上使用GNN来学习当前会话中的会话级项目嵌入。此外，在两个水平上使用注意机制对学习项目进行表示。

模型图如下：

我们提出了一个n (GCE-GNN)模型。GCE-GNN利用会话级和全局级的成对项转换来建模当前会话的用户首选项，以供推荐。它包括四个主要组件:1)全局级别的项目表现学习层。它学习global-level项目嵌入，整体会话采用session-aware注意力机制包含每个节点的邻居的嵌入在全球图(G𝑔)结构;2)会话级项目表征学习层。它使用GGNN模型会话学习session-level项嵌入在当前会话;3)会话表示学习层。通过聚合会话级和全局级的学习项表示来建模用户对当前会话的偏好;4)预测层。它输出候选项的预测概率以供推荐。

 

8.2020-SIGIR-Group-Aware Long- and Short-Term Graph Representation Learning for Sequential Group

解决的问题：

如何有效地学习基于组成员在过去时间段内连续的用户-项交互的动态组表示？即如何利用组成员关系和顺序的用户项交互来了解用户表示?如何利用获得的用户表示来表示组偏好?

解决方案：

提出了群体感知长、短期图表示学习模型，在每个时间框架中，我们首先构建感知组的长期和短期图，这两个图共享属于同一目标组的所有用户。长期图包含整个历史中的用户-项目交互和项目-项目共现，而短期图只包含关于当前时间框架的信息。在这两个图的基础上，GLS-GRL对这两个图进行图表示学习，分别学习用户的长表示和短期表示。通过一个简单的闸门机制来融合这两种类型的表示，以获得集成的用户表示。就这样，第一个挑战得到了解决。对于第二个挑战，GLS-GRL进一步开发了一种受约束的用户交互注意力，这种注意力是由sub-attention网络激发的。它通过表示一个用户和编码组成员之间的相关性，即被选择的其他组成员的表示，这些成员需要至少有一个共同交互的项目。组表示最终通过集成用户表示来实现。

模型图如下：

在学习将图关系编码为低维用户表示之前，第一步是构建用户和项的输入表示。两个图的图表示学习的数学公式几乎相同，然后，我们采用常用的两阶段法在图上进行表示传播。第一步是聚合目标节点的邻域表示。由于图形中有两种类型的节点，因此我们首先定义用户节点的表示聚合方式，相比之下，项节点不仅涉及用户-项边缘，而且还与项项边缘相关联。因此，它有两种类型的邻域。表示传播的第二步是通过聚合表示更新目标用户和项表示。然后在用户表示之上添加了一个非线性全连接（nFC）层，以赋予他们丰富的表达能力。最后，我们聚合更新后的用户表示，以获得组的组级表示。正如研究[20]所表明的那样，在用户表征上进行额外的注意力计算并不能提高性能。

 

在构造的图中有两种类型的边，即用户-项目边和项目-项目边。一方面，用户项边缘自然地捕捉到了群成员的动态偏好。如果用户过去曾与某个项目进行过交互，则会有一条边连接该用户和该项目。如图3(A)所示，用户u1​在当前时间范围内与项v3​、v1​和v2​交互，则用户u1​与组感知短期图中的这些项之间存在边，如图3(D)所示。类似地，由于用户u3​在整个历史中与项v5​和v3​交互，因此在组感知长期图中存在用户和这些项的边，如图3(c)所示。另一方面，项-项边缘编码不同项之间的关系，这被认为比用户偏好更稳定。因此，我们对这两个图都采用共享策略来构造项-项边。具体地说，如果两个项目已经连续与任何用户交互，我们假设这两个项目之间存在边缘。例如，如用户u1​的行为序列所示，由于v1​和v2​与用户持续交互，因此v1​和v2​应该是有优势的。

9.2020-SIGIR- Rethinking Item Importance in Session-based Recommendation

解决的问题：

一些工作不能准确地定位会话中重要的项目来生成用户偏好。在生成条目嵌入后，每个条目的重要性就简单地由它与长期历史中条目组合的相关性决定，或者是最后一个条目或组合。不可避免的是，在一个会议中，特别是在长时间的会议中，会有一些相关的项目，这使得模特们很难把注意力集中在重要的项目上。

解决方案：为了分析用户的长期偏好，我们提出了一个重要度分析模块(IEM)，该模块应用一种改进的自我注意机制来提取正在进行的会话中每个项目的重要性。然后，根据物品的重要性，将物品进行区分组合，以预测用户的一般偏好。为了获取用户当前的兴趣，我们将最后一个项目嵌入作为用户当前兴趣的表达，然后将其与项目推荐的长期偏好相结合。

模型图如下：

 

10.2020-WWW- Adaptive Hierarchical Translation-based SequentialRecommendation

解决的问题：

几个关键的挑战:(1)稀疏性和时间概化:以往的研究主要是利用项目级关系来改进非时间感知的用户推荐。(2)层次结构:虽然以前的大多数方法都可以直接将项目级关系与用户交互联系起来(因为序列是从项目的角度来看待的)，但类别层次的视角引入了类别级项目关系和基于用户的项目级序列的层次结构。因此，一个重要的问题是如何组织层次连接，以便我们可以提取出用户动态序列中显示的项之间的复杂多重关系;(3)个性化动态适应:基于翻译的推荐因其强大的性能和对大型真实世界数据集的高可伸缩性而受到广泛关注。

解决方案：

提出了一种基于翻译的分层推荐方法——HierTrans。HierTrans有三个独特的属性:首先，HierTrans将传统的项目级关系扩展到类别级，以帮助捕获可以跨用户和跨时间泛化的动态序列模式。其次，层次结构建立在一个包含类别层次上的项目多关系和项目层次上的用户动态序列的层次时间图上。hierarchical graph结构使我们能够更容易地提取高阶复杂物品之间的关系模式中显示用户动态序列;第三,昂为基础,我们提出一个新颖的hierarchical翻译推荐方法可适应的聚合项目类别和用户动态偏好的前提下项目级的下一个项目的建议。具体来说，HierTrans中的用户平移向量可以根据用户之前的交互项和用户序列中的项关系以及用户的动态偏好自适应地改变。

模型图如下：

11.2020-SIGIR- Sequential-based Adversarial Optimisation for Personalised Top-N Item Recommendation

解决的问题：

虽然DNN的使用在许多应用中取得了更好的性能，但以往对抗性机器学习的研究表明，不同的DNN方法容易受到对抗性例子的攻击，这些例子是通过在输入例子中应用小而有意的扰动而形成的。类似地，最近关于用于治疗的对抗性机器学习的研究表明，经过贝叶斯个性化排序(BPR)优化的因式分解方法易受不利扰动的影响。为了缓解这一问题，Heet al.[2]提出了一种个性化排名(APR)框架，该框架在培训过程中对MF的参数增加了干扰，以提高MF的泛化和鲁棒性。但没有一篇文章指出这种影响在基于序列的因式分解方法中存在。

解决方案：

在这项工作中，我们提出了一个新的基于序列的对抗性优化(SAO)框架，旨在训练具有对抗性扰动的基于序列的分解方法。特别是在训练过程中，SAO根据用户的交互序列生成一系列的对抗性扰动，并将这些扰动加入到模型参数中。

模型图如下：

该模型由最先进的自我注意顺序推荐(SAS-Rec)框架和基于序列的广告优化(SAO)框架组成，自我注意顺序建议(SASRec)方法，该方法旨在从用户的交互过程中获取用户的动态偏好。基于顺序的对抗性时序化(SAO)框架，旨在提高SASRec对top-N项推荐的效率。

 

12.2020-SIGIR- An Intent-guided Collaborative Machine for Session-based Recommendation

解决的问题：

如何利用正在进行的会话来检测用户的当前意图是基于会话的推荐成功的关键。基于邻域的模型的一个主要缺点是，通过使用余弦相似度，邻域会话被简单地组合和识别，而没有考虑用户的意图。

解决方案：

提出了一个基于会话的推荐的意图引导协作机器(ICM-SR)，它由三个主要组件组成:意图生成器、意图引导的邻居检测器和偏好融合层。session编码器用于将当前会话作为输入，并应用GRU生成序列项的表示作为全局首选项，其中嵌入的最后一项将被视为用户最近的兴趣。然后，利用会话编码器的输出来生成初始项预测，其中得分最高的项被选择为当前会话的潜在意图。然后，一个意图引导的邻居检测器遵循两个阶段的过程被设计出来:首先，生成的意图用来识别候选邻居会话;然后，根据相邻会话与当前会话的相似性，自适应地结合相邻会话的再现来生成邻域表示。最后，偏好融合层集成当前会话和邻居会话的表示。

模型图如下：