本文介绍了CIKM2021上的DCAP（Deep Cross Attentional Product Network），一种用于推荐系统的模型，它通过自注意力机制捕捉交叉特征的重要性，并解决了传统方法的隐式建模和特征权重固定的问题。DCAP的核心结构包括多头自注意力和内积/外积操作，用于生成高阶交叉特征。实验结果显示了模型的有效性。
本文是2022年的第一篇文章，给大家带来CIKM2021上中稿的一篇文章，提出了Deep Cross Attentional Product Network（以下简称DCAP），在显式建模高阶特征交互的基础上，引入自注意力机制来刻画不同交叉特征对于预测的重要性，一起来看一下。
1、背景
论文关注的如何通过特征建模，对用户的交互行为进行预测，如用户是否会点击某个广告，是否会对推荐内容产生兴趣等等，如下图所示：
从上图也可以看到，用户的特征往往是多域的离散特征，如国家、性别等。同时，对于交叉特征的建模在预测任务中是十分重要的。由于人工设计交叉特征费时费力，同时对于业务敏感度也有较高的要求，因此业界的研究大都关注如何进行自动化的交叉特征建模，从使用FM来建模二阶的交叉特征，到使用FM和DNN相结合的方法如DeepFM、NFM进一步建模二阶和更高阶的交叉特征。但上述的方法存在两方面的问题：
1）DNN对于交叉特征的建模是隐式的，可解释性差
2）得到的交叉特征，对于所有的样本都使用相同的权重，但对于不同的样本来说，不同的
最低0.47元/天 解锁文章
7217
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
