【CTR预估】DSIN模型

最近看了一篇文章‘Deep Session Interest Network for Click-Through Rate Prediction’, 这篇是阿里发表在IJCAI2019的文章。

文章地址:https://arxiv.org/abs/1905.06482

作者还开源了代码:https://github.com/hhh920406/DSIN

淘宝最近也公开了一个rank模型,和这个有一点点像,也可以看看,模型要比这个要简单点:https://mp.weixin.qq.com/s/1y8jTqCcI7HkMA3qXtqdIg

模型是用于CTR预估的,整个模型在传统的DNN模型基础上,加上了tranformer结构和Bi-LSTM来分别捕捉session内和session间的内在联系,最后通过attention机制对目标item和由两个结构生成的session内顺序信息和session之间顺序信息加权输出,和用户画像embedding,以及item画像embedding一起concate起来,送入MLP里做分类。整体给我的感觉是思路很棒,但是感觉这个预估模型有点重,像我这种小公司的线上服务rt还不一定能用起来......

Based model

文章先大概介绍了一下使用DNN来构造ctr预估模型的一个基本框架。

1.embedding。这个是必须的,一般稀疏类别特征,不出意外都可以用embedding来操作。这个一方面可以降低输入的维度,还可以将特征映射到高纬空间学习出不同特征值之间的距离,而不是像onehot一样,每个特征值都一样。当然还有好多优点,比如方便后续计算,使用;方便将不同域的特征映射到同一空间进行比较等等,优点多多。

2.MLP。基本上将稀疏类别特征embedding化后,和稠密特征一起concate起来就可以直接送入神经网络,进行训练,这样就可以组成一个基本的DNN网络,用于分类,回归等。

DSIN模型

                        

如上图所示是模型的整体结构,左侧的User Field 和Item Field就是上面说的稀疏类别特征的embedding和稠密特征的组合,这里按user和item做了区分。文章的核心工作在右边这块。

从下到上

Session Divsion Layer

这块的工作是将用户的历史行为划分成不同session,将历史行为的items以三十分钟为界,划分成不同的session。并且为了保持维度的一致,每个session的长度是一致的,多了的截断,少了的按0填充。session的个数也保持一致。

                                                             

Q就是一个session,b表示session的行为。

Session Interest Extractor Layer

这一步的目的就是去捕获session list中每个session内部的行为关系。将session作为输入,送入tranformer结构。

session在送入tranformer之前使用了一个操作Bias Encoding.

                                                                 

用了三个矩阵分别对session本身,session中的每个位置,每个位置处id的embedding的每个维度都加上了一个偏置项。源码如下:

          

然后将偏置项加入到输入的session list中

                                                                             

         

这一步应该算是对原始tranformer中position encoding的优化,利用偏置项来区分不同位置session,不同位置的item,以及不同位置的embedding值。

接着把经过Bias Encoding处理的输入session list传入tranformer结构里:

                                               

tranformer输出的结果被再次输入一个前向网络里面做了一层映射

                                                        

然后再用average pooling把每个session的维度进行压缩:

                                                                       

到这为止,或得到了每个session的一个内在表示,就是图里面的:

                                                                 

Session Interest Interacting Layer

文章为了捕获不同session之间的顺序关系,使用了Bi-LSTM。Bi-LSTM是双向的,可以同时捕获上下文关系。

因此经过Bi-LSTM编码的输入,每个维度的输出向量其实都包含了输入数据同一位置的前后信息。这步获得的数据是图中的:

                                                             

到这为止,模型已经同时捕获到了session内部和session之间的顺序关系。如果想简单一点,直接把这两者的输出结果和图中左侧的画像特征concate起来也可以。不过文章作者在concate前对两者的输出做了一层attention,用来判断sesison信息和目标item之间的相关性。

Session Interest Activating Layer

                                                  

attention的query就是公式中的X,就是目标item的embedding。item的embedding是item画像特征所有embedding一起concate起来获得的。value和key就是前面获得两个输出I和H。

最后把以上这些向量都组合起来送入DNN中进行训练。

文章总的来说,思路清晰,之前看过一些文章基本只会去考虑session内部的关系,很少有考虑session之间的关系,还把NLP中的tranformer模型用到了ctr预估。

©️2020 CSDN 皮肤主题: 猿与汪的秘密 设计师:上身试试 返回首页