顶会中深度学习用于CTR预估的论文及代码集锦 (3)

[1] Deep Interest Network for Click-Through Rate Prediction

Guorui Zhou, Chengru Song, Xiaoqiang Zhu Ying Fan, Han Zhu, Xiao Ma, Yanghui Yan, Junqi Jin, Han Li, Kun Gai

Alibaba Group

KDD 2018

https://arxiv.org/pdf/1706.06978.pdf

点击率预估在工业应用中， 例如在线广告，是一项基本任务。最近，研究人员提出了基于深度学习的模型，这些模型遵循了嵌入+MLP范式。在这些方法中，大规模稀疏输入特征首先映射到低维嵌入向量，然后以分组方式转换为固定长度的矢量，最后将这些特征串联在一起，传入多层感知器 (MLP) 中，进而学习特征之间的非线性关系。

如此一来，无论候选广告是什么，用户特征都被压缩成固定长度的表示向量。在这里，使用固定长度的向量是一个瓶颈，这给嵌入&MLP方法从丰富的历史行为中有效地捕捉用户的多种兴趣带来了困难。本文提出了一种新的模型：深度兴趣网络(DIN)，通过一个局部激活单元来适应从某一广告的历史行为中了解用户兴趣的表达，进而解决了上述难题。

该表示向量因广告不同而不同，这就大大提高了模型的表达能力。此外，作者们还提出了两种技术：微型批量感知正则化和数据自适应激活函数，这两种技巧有助于训练具有数亿个参数的工业界深度网络。

在两个公共数据集以及包含超过 20 亿个样本的阿里巴巴真实生产数据集上的实验表明了本文所提方法的有效性，与最先进的方法相比，该方法的性能更优。DIN现已成功部署在阿里巴巴的在线展示广告系统中，用于服务主要流量。

本文主要贡献如下

阿里的广告展示系统图示如下

几类特征情况统计如下

网络结构图示如下