今天给大家分享一篇来自微博的点击率预估论文,借鉴NLP领域的ELMO和Bert的思想,提出了一种使用上下文信息来优化特征嵌入的CTR预估框架,一起来看一下。
1、背景
特征交互的学习对于CTR预估模型来说是至关重要的。在NLP领域中的ELMO和Bert模型,通过单词在句子中的上下文环境来动态调整单词的embedding表示,取得了多项任务的效果提升。受到此思路的启发,论文提出了名为ContextNet的CTR预估框架,该框架可以基于样本信息对embedding进行优化,同时能够有效的建模特征之间的高阶交互信息。接下来,在第二节中对ContextNet进行详细介绍。
2、ContextNet介绍
2.1 整体介绍
ContextNet的整体结构如下图所示:
如上图所示,ContextNet包含两个主要的部分,分别为contextual embedding module 和 ContextNet block。contextual embedding module主要是对样本中的上下文信息(所有特征)进行聚合,并将这些上下文信息映射为与embedding同样长度的向量。ContextNet block则是进行embedding合并和非线性变换。接下来,分别对这两部分进行介绍。
2.2 Feature Embedding
在介绍主要的两部分之前