阿里DMR模型解读

阿里DMR模型

开源地址：https://github.com/lvze92/DMR

背景

这里不对背景做太多解释，主要是：最近比较流行的CTR预估网络主要花很多精力在挖掘用户的潜在兴趣、信息等，但是忽略了user与item之间的关联性，而user-item之间的关联性恰恰是最能够反映用户兴趣的地方，因此本篇文章主要是借鉴了协同过滤（CF） 中计算user-item和item-item矩阵相似度，同时基于注意力机制和position encoding来挖掘不同时期用户兴趣，使用辅助网络来帮助训练。

创新点

1、论文主要挖掘用户历史交互过的商品与目标商品之间的相关性，为此借鉴了协同过滤的思想，采用use2item子网络和item2item子网络来充分提取两者的相关性。

2、为辅助训练user2item子网络单独设计了一个额外的match网络，可以作为召回阶段，因此可以认为是召回模型和CTR预估模型联合训练的。

3、考虑到用户行为的实践序列属性，利用attention机制和position encoding来挖掘不同时期用户行为的权重，并对最近行为赋予较大的权重，随后进行加权sum-pooling。

介绍

文章中提到在matching中，根据不同匹配网络得到的user-item相关性强弱，由于使用的方法不同，因此这些相关性强弱不可以直接比较，但在DMR模型章中，相关性强弱可以使用统一的方式进行比较。

Deep Match to Rank Model

主要内容

1、核心是user2item自网络中将Ranking和Maching的结合，用deepmatch的子网路辅助整个网络的训练。目的是引入更多的用户信息监督user2item网络学习

2、将辅助训练网络deepmatch的aux_loss加到主网络MLP最终分类的loss上，辅助训练。

3、两个子网络的attention和query的构建方式不同，item2item主要纳入目标商品的信息（target item）

模型比较直白，结构简单。如下：

user-item

在user-item网络中，通过embedding space中对应的内积来表示用户和商品之间的相关性，并提出了一种辅助匹配网络用来监督训练并推动更大的内积来表示更高的相关性。

item-item

在item-item网络中，通过注意力机制计算用户交互商品与目标商品之间的item-item相似度，然后对相似度进行归纳，得到另一种形式的user-item关联。

学习过程中的疑惑

1、用户表示怎么理解？

用户表示是从用户行为中提取的。而用户行为：点击、购买、喜爱、浏览实践等。

2、为什么通过池化层可以将不同长度的特征向量固定到定长呢？

？？？

3、文中提到的“基于深度学习的点击率模型的基本结构很难通过隐式特征交互来获取user-item的相关性”，怎么理解？

因为在神经网络中的特征因为已经经过一系列黑盒操作，所以很难解释过程中得到的向量的具体意义。