推荐系统遇上深度学习(一二零)-[微博]使用上下文信息来优化特征嵌入的CTR预估框架...

今天给大家分享一篇来自微博的点击率预估论文，借鉴NLP领域的ELMO和Bert的思想，提出了一种使用上下文信息来优化特征嵌入的CTR预估框架，一起来看一下。

1、背景

特征交互的学习对于CTR预估模型来说是至关重要的。在NLP领域中的ELMO和Bert模型，通过单词在句子中的上下文环境来动态调整单词的embedding表示，取得了多项任务的效果提升。受到此思路的启发，论文提出了名为ContextNet的CTR预估框架，该框架可以基于样本信息对embedding进行优化，同时能够有效的建模特征之间的高阶交互信息。接下来，在第二节中对ContextNet进行详细介绍。

2、ContextNet介绍

2.1 整体介绍

ContextNet的整体结构如下图所示：

如上图所示，ContextNet包含两个主要的部分，分别为contextual embedding module 和 ContextNet block。contextual embedding module主要是对样本中的上下文信息（所有特征）进行聚合，并将这些上下文信息映射为与embedding同样长度的向量。ContextNet block则是进行embedding合并和非线性变换。接下来，分别对这两部分进行介绍。

2.2 Feature Embedding

在介绍主要的两部分之前࿰