【推荐算法论文阅读】Multi-Interest Network with Dynamic Routing for Recommendation at Tmall

一、背景

在天猫的个性化推荐场景中，无论是召回还是排序阶段，最重要的都是为用户兴趣建模。然而建模用户兴趣存在问题：一个用户可能对多种物品感兴趣。

现有的推荐算法采取过多种方法来对用户兴趣建模。基于协同过滤的方法用用户历史行为或隐性因子来表示用户兴趣，这种方法的局限性在于稀疏性和计算困难。深度学习方法通常将用户兴趣表示为一个低维度的embedding，然而这种方法中，embedding的维度可能会成为表达用户各种兴趣的瓶颈。DIN在表示用户兴趣时引入了attention，然而由于计算复杂性，这种方法只能用在排序阶段。

本文提出的MIND模型关注点在于在召回阶段为用户的兴趣多样性建模。我们设计了一个多兴趣抽取层，利用动态路由来将用户的历史聚合为用户的embedding表达。这一动态路由可以看做是一种soft clustering，将用户历史聚合成一些簇。这样对于一个用户，MIND就可以输出多个向量来表达用户的多种兴趣。

二、亮点

1. 用多个向量来表示一个用户，这些向量编码用户兴趣的不同方面。
2. 设计了基于胶囊网络动态路由的多兴趣抽取层，来聚类历史行为和提取不同的兴趣。
3. 设计了label-aware attention机制，从而学习具有多个向量的用户表示。

三、模型具体结构

1. 问题形式化

推荐系统召回阶段的目标就是从一个巨大的物品池 I 中为每个用户 u ∈ U 召回一千级别的物品，并且每个物品都与用户兴趣相关。为达成这一目标，推荐系统生成的历史数据被收集下来来构建召回模型。其中的每个样本可以表示为一个三元组$(I_u,P_u,F_i)$，其中$I_u$表示用户 u 交互过的物品，$P_u$表示用户的基础画像(包括性别、年龄等)。 $F_i$