CIKM2019|Fi-GNN图神经网络学习特征交互在CTR预估中的应用(已开源)

Fi-GNN: Modeling Feature Interactions via Graph Neural Networks for CTR Prediction

Zekun Li, Zeyu Cui, Shu Wu, Xiaoyu Zhang, Liang Wang

University of Chinese Academy of Sciences

http://cn.arxiv.org/pdf/1910.05552.pdf

ctr预估在web应用中，比如在线广告和推荐系统，这些应用中的特征通常都是多域形式的，非常重要。

ctr预估中的关键在于对不同特征域的特征交互进行建模。最近提出的基于深度学习的模型遵循这样一种范式，原生的稀疏输入多域特征首先映射到稠密域嵌入向量，然后简单地连接起来喂入深度神经网络或者其他的网络，进而学习高阶特征交互。但是，简单地将特征域进行非结构化的结合不可避免的会限制模型的能力，不能充分灵活精确地捕捉不同域的更加复杂巧妙的交互。

这篇文章提出用图结构来直观表示多域特征，其中每个节点对应一个特征域，不同的域可以通过边来交互。特征交互建模转换为图中节点交互的建模。论文作者们设计了一种新的模型，Fi-GNN。这种模型可以有效利用图的强表示能力，该模型不仅可以灵活清楚的对特征交互进行建模，而且为CTR预估提供了更好的模型解释。

两个真实数据集上的实验结果验证了论文作者们所提模型的有效性。

多域特征及业界主流做法简介如下

部分基于深度学习的模型有以下几种

这篇文章的主要贡献如下

基于FM的几种方法分别具有以下特点

基于深度学习的几种方法简单对比如下

部分基于图的方法将图结构数据转为序列结构数据来处理

部分代表性的图神经网络有以下几种

模型整体结构图示如下

嵌入层流程简介如下

多头注意力连接方式如下

fi-gnn图示如下

节点的状态聚合公式如下

边权计算公式是基于注意力机制的

边权转换公式及更新后的节点更新公式如下

利用GRU来更新状态的公式细节如下

利用残差连接来更新状态的公式如下

注意力打分层细节描述如下

目标函数，训练方法以及参数规模如下

fi-gnn跟FM的关系如下

数据集描述，部分预处理以及分割策略如下

数据集统计信息如下

评价指标有以下几个

参与对比的方法有以下几个