ATRank: An Attention-Based User Behavior Modeling Framework for Recommendation

ATRank: An Attention-Based User Behavior Modeling Framework for Recommendation

论文名称：《ATRank: An Attention-Based User Behavior Modeling Framework for Recommendation》（《基于自注意力机制的用户行为建模框架以及在推荐领域的应用（ATRank）》）

论文地址：https://arxiv.org/abs/1711.06632

示例代码地址：https://github.com/jinze1994/ATRank/tree/master/atrank

• 阿里+北大，用户行为建模（用户画像？）+attention
• 2018年，AAAI收录（美国人工智能协会，人工智能领域的顶级国际会议）

---

• 按行为类别分为很多类，每个类里面的行为有不同维度的Embedding，行为是无序的，但是Embedding里面有时间信息
• 然后把每个行为Embedding映射到一个相同维度的语义空间，再接上self
  Attention层处理序列，再用候选行为对序列做Attention得到最后的表示
• 最后用DNN得出该候选行为的得分，用ranking loss优化
  

---

---

摘要

正如一个单词可以通过其上下文来表示，那么一个用户也可以通过其过往的行为序列来表示。但随着技术的发展，越来越多样化的用户行为可以被捕捉并保存在数据库中，使得用户行为表现出异构性，高度多样性。以电商领域的推荐为例、一个用户可能浏览、购买、收藏商品，领取、使用优惠券、点击广告、搜索关键词、写评论或者观看商家提供的商品介绍视频等等。这些不同的行为为我们更全面的理解一个用户提供了不同的视角。

面对用户如此多样化的行为，要想做到更精确的推荐，很大的挑战来自于能否对用户的异构行为数据进行更精细的处理。在这样的背景下，本文提出一个通用的用户行为序列建模框架，试图融合不同类型的用户行为，并以此框架进行推荐任务。

• 将不同种类的用户行为序列分组编码，并映射到不同子空间，利用self-attention对行为间的互相影响建模，最终得到用户行为表征

---

一、介绍、相关工作

异构行为建模： 通常通过手动特征工程来表示用户特征。这些手工特征以聚合类特征或无时序的 id 特征集合为主。

单行为序列建模： 用户序列的建模通常会用 RNN（LSTM/GRU）或者 CNN + Pooling 的方式。RNN 难以并行，训练和预测时间较长，且 LSTM 中的 Internal Memory 无法记住特定的行为记录。CNN 也无法保留特定行为特征，且需要较深的层次来建立任意行为间的影响。

异构数据表征学习：参考知识图谱和 Multi-modal 的表征研究工作，但通常都有非常明显的映射监督。而在我们的任务中，异构的行为之间并没有像 image caption 这种任务那样明显的映射关系。

本文的主要贡献如下：

尝试设计和实现了一种能够融合用户多种时序行为数据的方法，较为创新的想法在于提出了一种同时考虑异构行为和时序的解决方案，并给出较为简洁的实现方式。
使用类似 Google 的 self-attention 机制去除 CNN、LSTM 的限制，让网络训练和预测速度变快的同时，效果还可以略有提升。
此框架便于扩展。可以允许更多不同类型的行为数据接入，同时提供多任务学习的机会，来弥补行为稀疏性。

整个用户表征的框架包括原始特征层，语义映射层，Self-Attention 层和目标网络。语义映射层能让不同的行为可以在不同的语义空间下进行比较和相互作用。Self-Attention 层让单个的行为本身变成考虑到其他行为影响的记录。目标网络则通过 Vanilla Attention 可以准确的找到相关的用户行为进行预测任务。通过 Time Encoding + Self Attention 的思路，我们的实验表明其的确可以替代 CNN/RNN 来描述序列信息，能使模型的训练和预测速度更快。

---

二、模型框架

1.raw feature spaces（原始特征空间）