RS Meet DL(64)-通过自注意力机制来自动学习特征组合

本文要介绍的论文题目是《AutoInt: Automatic Feature Interaction Learning via Self-A entive Neural Networks》

这篇文章使用Multi-Head self-Attention进行自动的特征提取，整体思路相对而言比较简单易懂，但是论文结构比较完整。除介绍论文外，最后本文介绍了如何使用Python绘制热力图，一起来看一下吧。

1、背景

点击率预估问题对推荐系统来说比较重要，但是目前存在许多挑战：

基于上述问题，本文提出了AutoInt，通过目前比较火热的Multi-Head Attention来自动进行特征组合。一起来看一下。

2、AUTOINT框架

2.1 整体框架

AUTOINT框架的整体框架比较简单，如下图：

接下来，我们逐层进行介绍。

2.2 输入层

这里咱们的目标是预测用户u点击某个物品i的概率，因此输入层包含用户相关的特征和物品相关的特征：