KDD2018|超越deepfm的CTR预估模型深层兴趣网络DIN(已开源)

Deep Interest Network for Click-Through Rate Prediction

Guorui Zhou, Chengru Song, Xiaoqiang Zhu Ying Fan, Han Zhu, Xiao Ma, Yanghui Yan, Junqi Jin, Han Li, Kun Gai

Alibaba Group

KDD 2018

https://arxiv.org/pdf/1706.06978.pdf

点击率预估在工业界应用（比如在线广告）中是一项非常重要的任务。最近，研究人员提出了若干基于深度学习的模型，这些模型基本都遵循了嵌入+MLP这种范式。这些方法的流程基本都是首先将大规模稀疏输入特征映射到低维嵌入向量，然后以分组方式转换为固定长度的矢量，最后将这些特征串联在一起，传入多层感知器 (MLP) 中，进而学习特征之间的非线性关系。

如此一来，无论候选广告是什么，用户特征都被压缩成固定长度的表示向量。使用固定长度的向量是一个瓶颈，这给嵌入&MLP方法从丰富的历史行为中有效地捕捉用户的多种兴趣带来困难。本文提出了一种新的模型：深度兴趣网络(DIN)，通过一个局部激活单元来自适应地从用户的历史行为中学习该用户对某一广告的兴趣，并得到一种表示向量，进而解决了上述难题。

该表示向量因广告不同而不同，这就大大提高了模型的表达能力。此外，作者们还提出了两种技巧：微型批量感知正则化和数据自适应激活函数，这两种技巧有助于训练具有数亿个参数的工业界深度网络。

作者们在两个公共数据集以及包含超过 20 亿个样本的阿里巴巴真实生产数据集上的进行了实验，结果表明了本文方法的有效性，与最先进的方法相比，该方法的性能更优。DIN现已成功部署在阿里巴巴的在线展示广告系统中。

DIN的主要特性在于局部激活单元以及加权sum pooling

现有方法存在一些缺陷，比如SGD只对当前mini-batch的稀疏特征进行更新；传统的l2正则计算量太大等

本文主要贡献如下

现有方法有些缺陷，比如都映射到固定长度的表示向量

DIN的思想借鉴了DeepIntent，采用了局部激活单元，加权sum pooling等技巧。

阿里的广告展示系统图示如下

其中主要包含两部分