【AAAI2020】阿里DMR：融合Matching思想的深度排序模型

论文链接：Deep Match to Rank Model for Personalized Click-Through Rate Prediction

推荐系统中 CTR 预估的重要性不言而喻，其中个性化是提升 CTR 模型效果的关键。对于CTR模型来说，个性化是增强用户体验的关键。而个性化的信息其实就包含在用户过往的行为里，因此很多模型尝试通过引入用户的行为序列进行建模，来学习到用户当前的兴趣表示，再通过用户兴趣表示跟候选目标item的作用来评估候选item是否符合用户当前的兴趣。

在用户行为建模方面，比较经典的是阿里的DIN，它通过将用户行为序列中的每一个item跟target item进行attention，得到每个用户行为跟target item的相似度权重，再通过行为序列各embedding加权的方式得到用户的兴趣表示。DIN的这种方式避免了sum pooling导致的用户兴趣趋于均值化，使得模型能够更多关注用户行为序列中跟target item相关的那部分行为，从而更好地判断用户跟候选目标的相关性，因此取得了不错的效果。但其缺点也是明显的，最主要的是它忽视了用户行为序列中的行为先后关系，例如近期的行为一般更能表示用户当前的兴趣，理应有更高权重；另一方面，用户的兴趣是会变化的，并且变化规律可能就隐藏在行为序列的先后关系中，而DIN没有能力捕捉到这一信息，从而挖掘更深层的用户兴趣。

考虑到DIN在行为序列上建模的不足，后续的一些工作都在此基础上进行了优化。例如DIEN通过GRU单元引入了不同行为先后关系的信息。DMIN则通过transformer的self-attention来学习这种先后的依赖关系。

DMR模型可以看作是对DIN在另一个视角的改进，同时考虑U2I和I2I。U2I 相关性可以直接衡量用户对目标商品的偏好强度，可以理解成从用户特征（用户兴趣表征）到 U2I 交叉特征（U2I 相关性表征）的升级。而I2I则是matching阶段很常用的一种召回模式，通过学习item之间的相关性，间接表示用户对target item的偏好。

1.模型特征和整体结构

模型的整体结构如上图所示，除了u2i和i2i以外，整个模型跟其他的阿里的模型都非常相似，特征都是四部分组成，用户特征，上下文特征，序列特征，还有target item的特征，这是ctr预估任务中一般用到的几类特征。u2i和i2i的输出concat后，经过DNN得到整个模型的输出，这里重点关注这两个子网络。

2. I2I和U2I网络

2.1 I2I

这一部分相当于是对DIN的一个直接优化。前面说到DIN无法考虑用户行为的先后信息，所以这里受到transformer中position embedding的启发，直接引入了用户行为序列的位置信息p。这里e是用户行为序列中每个item的embedding，p是这个行为在这个用户行为序列中位置的embedding。（理论上位置越靠近当前的行为应该受到更多关注，这里作者提到的一个 trick 是以行为时间的倒序对位置进行编码，以确保最近的行为处于第一个位置，越近的时间影响越大）DIN中的target attention可以把它理解成一个 I2I 的相似度计算，和目标商品更相似的用户行为商品获得更高的权重，从而主导 pooling 后的特征向量。基于这样的理解，我们将所有的权重（softmax 归一化之前）求和就得到了另一种表达。公式如下：

Wc、Wp、We和Z分别是四个参数矩阵，根据上式最终可以得到该行为的权重。

再把各行为的权重进行softmax，得到每个行为的最终权重，这个权重包含了行为的位置信息以及和候选目标item的相关程度，将各行为embedding进行加权平均即得到该用户的兴趣表示。将用户兴趣表示和候选目标embedding输入后续的DNN层即可学习两者之间的关联。

这里同时也把softmax之前的每个行为权重之和，作为一维单独的特征输入DNN层。因为权重大小代表了用户行为和候选商品的相关性，因此权重之和在某种形式上也包含了两者的关联程度信息。

2.2 U2I

p_t代表位置第t个位置的编码，e_t代表第t个位置的历史数据（例如浏览的商品）,W_p,W_e, b, z分别是可训练参数,alpha_t代表了经过 softmax 归一化后的第t个位置的权重。最后用户u可以表示为所有行为的加权和：

g(.)代表非线性变换，h_t代表第t个加权后的行为。

U2I网络用 user representation 和 item representation 的内积来表征 U2I 相关性，这可以看做是一种显式的特征交叉。User-to-Item网络同样引入了每一个行为的位置信息，从而使得近期的行为能够被更多的关注。但跟Item-to-Item网络以及前面几个模型不同的是，它在兴趣提取阶段没有考虑目标item，而是通过对提取的用户兴趣表示跟目标emb的内积来表示用户和目标商品的匹配程度，最终输入到DNN网络的是两者内积值（表示两者匹配值）的一维特征。

这个跟I2I网络看起来很像，但实际上还是有所差别的。I2I网络是间接学习用户和候选目标的相关性，最终两者到底有多相关还要考DNN层去学习。而U2I网络则是直接学习两者之间的相关性，输入DNN层的就是一个明确的用户和候选目标的相关分值。

仅仅依靠内积r值难以训练目标item的embedding，所以引入辅助网络帮助训练。辅助训练的设计和Youtube DNN十分相似。

在辅助训练的时候，使用行为序列中的前T-1个行为学习用户表示，而用最后一个行为作为正样本。这个过程就像是协同过滤，从所有的 item 中选出一个与上一个 item 相近的 item，但是基于所有的 item 做匹配的计算量太大，文中使用负采样抽取一部分负样本进行训练（参考YouTube DNN，其实就是word2vec的负采样优化）。辅助网络的匹配指标同样使用的是相关性r ，这样经过辅助网络的训练过后，目标item的embedding 会得到充分的训练，并且相关性得分r也能充分表达用户和目标的相关性。

Lns表示辅助网络的loss，最终会跟主网络的loss相加，作为模型训练的最终loss。

3. 一些细节和思考

3.1 哪些结果concat到一起送入DNN中？

（1）U2I的输出：

• 只有user representation 和 item representation 的内积结果作为输出，其中user representation是user序列中所有行为embedding做的sum pooling，而item representation 就是U2I网络中的item embedding。

（2）I2I的输出

• user representation：I2I网络中，user序列中所有行为embedding做的sum pooling。
• item representation：就是I2I网络中的item embedding。
• sum attention score: 是用户行为序列中所有行为和target item之间的attention score未归一化的和。

（3）context features embedding：一些上下文特征的emb。

（4）user profile features embedding：用户画像特征的emb。

3.2 关于item embedding

文章中I2I网络和U2I网络的后续目标item的embedding是不同的，两者之间的关系有点类似于word2vec中一个单词有输入和输出两种表征，或者transformer里面的输入embedding和输出embedding。作者发现，将embedding长度减半并分层两种不同的embedding，效果要好于保持原长度并用同一种embeddig表示，而这两者的参数量是相同的。

3.3 关于模型架构的可移植性

搜索场景中用户通过输入搜索词显式地表达用户的意图，而推荐场景中没有这种显式获取用户意图的方式。用户的意图往往隐藏在用户行为序列中，可以说用户行为序列就蕴含推荐中的 query。DMR模型将位置信息作为query，考虑到了每个行为的更多信息。在实际业务中，这一点也是可以扩展的，比如：

1）日期信息。虽然行为的位置信息一定程度上代表了用户行为的先后，但本质上时间信息才是我们要关注的点。例如对于一个长度为50的行为序列，第50个行为可能发生在今天，也可能发生在上个月，而这代表的含义是截然不同的。我们可以把行为发生至今的天数进行编码，这在长序列中的作用可能会更大。

2）时长信息。YouTube每个视频是一个浏览行为，而浏览时长是一个重要信息，我们可能对时长进行编码，并用于位置信息一样的方式引入进来。同样在淘宝而言，用户浏览具体商品详情页的时长也表示了用户对这个商品的关注程度。

3）界面操作信息。在另一些文章中，阿里通过利用用户在每一个商品详情页的点击次数、滑动次数进行建模，并取得突破，他们认为用户在一个具体商品中的点击、滑动次数代表了用户对这个商品的热心程度。而这种特征也可以很方便的通过DMR这个框架引入进来。

4）行为类型信息。某个行为是一次有价值的点击、还是一次偶然性的点击、还是加车、收藏、关注、下单等相比点击更有分量的行为，这些也是有价值的信息，可以描述行为的重要性。

参考：

1.Deep Match to Rank Model for Personalized Click-Through Rate Prediction

2.阿里DMR：融合了匹配思想的深度排序模型-Deep Match to Rank