AutoInt：基于注意力机制网络自动构造特征交互

AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks:发表在CIKM‘2019

论文地址：https://arxiv.org/pdf/1810.11921.pdf

数据集：criteo。avazu，KDD12,MOVIELEN-1M

 

评估：auc，logloss

比较对比模型：LR,FM,AFM,DEEPCROSSING,NMF,CROSSNET,CIN,HOFM

结构

在整个推荐系统中，特征工程方面最常遇到两个问题：

1. 输入特征的维度过高而且稀疏性很强；

2. 有效的点击率预测都要基于高度准确的交叉特征，人为地构造交叉特征是一件十分耗时耗力的操作

利用了深度学习的抽象特征提取的优势，通过 Multi-head attention 层进行高阶的特征组合。这种方法对于数值型特征与分类特征都很适用。之前的工作得到一组非常高稀疏性的特征，容易造成过拟合的现象。以需要借助深度学习类的方法来进行有效的特征的低维表示学习

局限性:全连接效率很低；难具有解释性；AutoInt 方法就是针对上述两个问题对深度学习网络进行调整加以改进。

未来：

在这项工作中，提出了一种新颖的基于自我注意机制，可以自动学习高阶以明确的方式进行功能交互。我们方法的，关键是新引入的交互层，它允许每个功能与其他功能交互并确定相关性通过学习。在四个真实数据集上的实验结果证明我们提出的模型的有效性和效率。 此外，我们通过可视化提供了良好的模型可解释性学习了组合功能。与隐式集成时前馈神经网络捕获的特征交互，与相比，我们的离线AUC和Logloss得分更高以前的最新方法。 对于将来的工作，我们有兴趣结合上下文信息纳入我们的方法，并改善在线推荐系统的性能。此外，我们还计划扩展AutoInt用于一般的机器学习任务，例如回归，分类和排名。

可以参考文章

https://zhuanlan.zhihu.com/p/60185134