本文探讨了Transformer模型在搜索推荐领域的应用，包括CTR预估的挑战、特征工程、行为序列建模和重排序。核心创新点是Interacting Layer，借鉴了Multi-head Self-Attention方法，通过Position embedding捕捉行为序列中的关系。文中还提到了在2020年腾讯广告算法大赛中，Transformer模型的出色表现，并讨论了对Masked Language Modeling的改进策略。
BERT等Transformer模型在自然语言处理领域大放异彩之后，将Transformer应用在各个领域变成了一种潮流，包括之前文章中介绍的Image Transformer和本文要介绍的，在搜索推荐领域排序算法阶段，利用高阶特征组合的AutoInt、对用户行为序列建模的BST、Transformer在工业界中的应用和Transformer在数据算法竞赛（2020年腾讯广告算法大赛）中惊人表现等。
CTR预估领域面临着诸多挑战，输入特征的稀疏高维问题，高阶特征的计算复杂度问题等本文将数值特征和类别特征映射到同一个低维空间，利用带残差连接的多头注意力机制显式的进行交叉特征获取，提出了一种能够自学习特征高阶交叉的方法。
Interacting Layer是本篇论文中最核心的创新点，借鉴了NLP问题中
最低0.47元/天 解锁文章
扫一扫
3179
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
