阿里DIN论文

阿里DIN论文

摘要

• 背景：目前业界主流的CTR预估模型一般是采用Embedding+MLP模式。具体地说，就是首先使用Embedding技术将大规模的稀疏输入特征转化为低维的稠密向量，然后将拼接起来喂给MLP网络来学习特征之间的非线性关系。
• 问题：这种做法的问题是生成用户Embedding向量的时候未能考虑到用户对当前候选广告的兴趣，而是对用户的历史行为兴趣一视同仁，不能捕捉用户的兴趣爱好。
• 解决：通过一个局部激活单元给用户的历史行为Embedding加权，反映用户对候选广告的兴趣。

用户行为数据作为电商网站最重要的特征，有两个主要的特性：

1. diversity：用户在购物时往往表现出的兴趣爱好是十分广泛的。
2. local activation: 正是由于第一个特性的存在，在给用户推荐某个商品时，只有部分历史数据会影响到用户是否会点击候选商品。而不是全部行为数据。

特征设计

作者将特征分成四种来讨论

1. 用户画像特征（单类别）：性别，年龄等
2. 用户行为特征（多类别）：浏览商品id序列，商店id序列，类别id序列等。
   • 由于是多类别特征，Embedding后生成多维的商品向量，以前通常的做法是average-pooling或者sum-pooling。论文的主要改进是在这里用了一个加权的sum-pooling。权重经过一个local activation unit生成。
3. 候选广告特征（单类别）：商品id，商店id，类别id等。
4. 场景特征（单类别）：时间，地点等。

模型设计

base model

介绍DIN模型之前，首先了解一下base model，基线模型的做法就是传统的Embedding+MLP的做法。具体地，首先将四种特征分别经过Embedding生成固定长度的特征向量。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EtlIWmJf-1625475888288)(D:\Users\Desktop\推荐论文\排序\base_model.png)]

法。具体地，首先将四种特征分别经过Embedding生成固定长度的特征向量。

[外链图片转存中…(img-EtlIWmJf-1625475888288)]

需要注意的是，由于用户行为特征是作为多类别存在的。所以做了一个sum的操作（element-wise +）