浅析Attention在推荐系统中的应用（3）AutoInt模型

最新推荐文章于 2024-04-27 15:02:25 发布

置顶

东南枝DP

最新推荐文章于 2024-04-27 15:02:25 发布

阅读量1.1k

点赞数

分类专栏：推荐系统文章标签：推荐系统前沿技术 attention 深度学习推荐

本文链接：https://blog.csdn.net/asdfghjkl1993/article/details/105042798

版权

本文深入解析了CIKM 2019年论文中的AutoInt模型，该模型利用multi-head self-attention进行特征交互学习，解决推荐系统中的高阶特征交叉问题。相较于其他模型，AutoInt具有更高的效率和可解释性，通过残差结构和多层交互层捕获不同阶的特征组合。实验表明，AutoInt在CTR预估任务上表现出色，并且在添加Deep部分后仍有良好效果。

摘要由CSDN通过智能技术生成

欢迎关注本人公众号： petertalks

专栏目录：

浅析Attention在推荐系统中的应用（1）Attention简介

浅析Attention在推荐系统中的应用（3）AutoInt模型

浅析Attention在推荐系统中的应用（4）Transformer与阿里BST模型

前言

前面的文章介绍了attention机制和它的一些应用，本文主要向大家介绍一下CIKM 2019的一篇文章《AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks》。该文主要介绍了一种名叫AutoInt的模型，该模型以multi-head self-attention为基础在将高维稀疏特征（包括连续特征和类别特征）映射到低维空间的同时建模高级特征交叉。相比其他的显示特征交叉的模型如Deep cross network、xDeepFM等具有更高的效率和可解释性。

背景与动机

CTR预估问题在广告和推荐系统中有着特别重要的地位。而机器学习又在CTR预估中扮演重要角色，其中存在着很多挑战。首先输入的往往是离散化后的高维稀疏特征，很容易造成模型过拟合；其次模型要取得较好的效果做好高阶特征的交叉工作是少不了的，但这块相当依赖人工经验，耗费着相当大的人力。所以业界为能将高阶特征映射到低维并且自动建模高阶特征交叉做了不少的努力和尝试。

这边的尝试总体来讲可以分成几块：

1）以NFM、PNN、FNN、DeepFM等网络为代表的采用隐式的方法利用前向网络去拟合高阶特征交叉，这类方法缺乏较好的可解释性。

2）以Deep&Cross和xDeepFM为代表的网络采用特征外积的方式显示构造高阶特征交叉，但是这种方法也无法直接解释出哪些特征交叉是更为有效。

3）一些树模型结合了embedding和树模型的优