本文介绍了阿里提出的Deep Interest Network (DIN)在点击率预测中的应用，针对传统模型无法捕捉用户多样兴趣的问题，DIN通过注意力机制学习局部激活信息。文章详细阐述了DIN的特征表示、基础模型结构以及DIN的独特激活单元。此外，还讨论了训练技巧，包括Mini-batch Aware Regularization和Data Adaptive Activation Function（Dice激活函数）。实验结果表明，DIN在捕获用户兴趣和提高CTR预测准确性方面表现出色。
阿里CTR预估三部曲（1）：Deep Interest Network for Click-Through Rate Prediction
Introduction
CTR预估是工业应用中的重要任务，最近兴起的模型基本都是遵循embedding&MLP范式的。也就是将高维稀疏向量首先映射成低维的embedding向量并转换成固定长度的向量，最后将所得向量串联在一起经过MLP学习到特征间非线性关系后输出结果。但是这个很明显，对于不同的candidate来说，其所得表示向量是一致，导致无法捕捉到用户多样的兴趣。因此阿里提出了DIN。同时提出了一种新的激活函数Dice以及一个减少计算量的正则化函数。
DIN
Feature Representation
CTR预估的输入向量一般是高维稀疏向量。下面是一个列子：
都是所谓的one-hot或multi-hot的向量。
而整个输入空间则如图所示：
Base Model
base model 如下：
最低0.47元/天 解锁文章
扫一扫
1445
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
