catboost特征重要性_CIKM2019|FiGNN图神经网络学习特征交互在CTR预估中的应用(已开源)...

Fi-GNN: Modeling Feature Interactions via Graph Neural Networks for CTR Prediction

Zekun Li, Zeyu Cui, Shu Wu, Xiaoyu Zhang, Liang Wang

University of Chinese Academy of Sciences

http://cn.arxiv.org/pdf/1910.05552.pdf

ctr预估在web应用中，比如在线广告和推荐系统，这些应用中的特征通常都是多域形式的，非常重要。

ctr预估中的关键在于对不同特征域的特征交互进行建模。最近提出的基于深度学习的模型遵循这样一种范式，原生的稀疏输入多域特征首先映射到稠密域嵌入向量，然后简单地连接起来喂入深度神经网络或者其他的网络，进而学习高阶特征交互。但是，简单地将特征域进行非结构化的结合不可避免的会限制模型的能力，不能充分灵活精确地捕捉不同域的更加复杂巧妙的交互。

这篇文章提出用图结构来直观表示多域特征，其中每个节点对应一个特征域，不同的域可以通过边来交互。特征交互建模转换为图中节点交互的建模。论文作者们设计了一种新的模型，Fi-GNN。这种模型可以有效利用图的强表示能力，该模型不仅可以灵活清楚的对特征交互进行建模，而且为CTR预估提供了更好的模型解释。

两个真实数据集上的实验结果验证了论文作者们所提模型的有效性。

多域特征及业界主流做法简介如下

部分基于深度学习的模型有以下几种

这篇文章的主要贡献如下

基于FM的几种方法分别具有以下特点

基于深度学习的几种方法简单对比如下

部分基于图的方法将图结构数据转为序列结构数据来处理

部分代表性的图神经网络有以下几种

模型整体结构图示如下

嵌入层流程简介如下

多头注意力连接方式如下

fi-gnn图示如下

节点的状态聚合公式如下

边权计算公式是基于注意力机制的

边权转换公式及更新后的节点更新公式如下

利用GRU来更新状态的公式细节如下

利用残差连接来更新状态的公式如下

注意力打分层细节描述如下

目标函数，训练方法以及参数规模如下

fi-gnn跟FM的关系如下

数据集描述，部分预处理以及分割策略如下

数据集统计信息如下

评价指标有以下几个

参与对比的方法有以下几个

参数设置细节如下

效果对比如下

几种变体模型及效果如下

部分超参数的影响图示如下

不同特征之间关系的重要性图示如下

不同特征的重要性图示如下

代码地址

https://github.com/CRIPAC-DIG/Fi_GNN

---

              我是分割线

---

您可能感兴趣

CIKM2019|AutoInt自注意力神经网络自动学习特征交互(已开源)

WSDM2019|近似解耦随机游走RecWalk在top-N推荐中的应用(已开源)

CIKM2013|深层结构语意模型DSSM在web搜索中的应用

WSDM2019|社交注意力记忆网络在推荐系统中的应用(已开源)

SIGIR2020|基于序贯行为的高效迁移学习在用户建模及推荐中的应用(已开源)

WSDM2019|门限注意力自编码在内容感知推荐中的应用(已开源)

WWW2019|对偶图注意力网络在推荐系统中的应用(已开源)

KDD2019|个性化注意力在新闻推荐中的应用

SIGIR2020|序贯元学习方法在重新训练推荐系统中的应用(已开源)

WSDM2019|动态图注意力网络在基于会话的社交推荐中的应用

IJCAI2017|基于注意力机制的FM模型AFM在学习特征交互权重中的应用(已开源)

KDD2020|自动特征交互选择(AutoFIS)分解机模型在CTR预估中的应用(已开源)

SIGIR2020|LightGCN图卷积网络在推荐系统中的应用(已开源)

WWW2019|图神经网络在社交推荐中的应用

AAAI2019|自注意力度量学习在下一个商品推荐中的应用

WWW2020|基于隐含意图的注意力序列模型在下一个商品推荐中的应用

WWW2015|深度学习在推荐系统跨域用户建模中的应用

ICDE2020|多图卷积网络在草药推荐中的应用

ATM|注意力转移模型在预测下一个商品中的应用

IJCAI2019|深层自注意力网络在序列推荐中的应用

AAAI2020|深度学习在表格分析中的应用

NIPS论文系列|复数域RNN,深层生成模型,DRL在MDP中的应用(已开源)

AAAI2020|结合时空信息的分层注意力网络在大规模社交网络中的应用

ICDE2020|基于深度学习的关系抽取

只有正样本和无标签样本时如何构建分类器

ICDE2020|图卷积网络在价格感知推荐中的应用

WSDM2020|基于强化学习的多轮对话推荐系统(EAR, 即将开源)

WWW2020|如何利用未来数据协助训练基于会话的推荐(GRec)

ICML2018|基于自注意力的序列推荐模型SASRec(已开源)

IJCAI2018|分层时空LSTM在位置预测中的应用(HST-LSTM)

IJCAI2019|基于会话和注意力机制的CTR预估模型DSIN(已开源)

AISTATS2018|密歇根大学提出新型在线boosting算法用于多标签排序(已开源)

AAAI2020|一种新型高效兼容多行为的推荐系统模型EHCF(已开源)

ICML2007|深度学习用于协同过滤的开篇作之一(出自深度学习鼻祖之一Hinton)

SIGIR2019|基于BERT的深度学习模型在信息检索中的应用(已开源)

SIGIR2019|深度学习如何更好地用于学习排序(LTR)(已开源)

SIGIR2019|利用DeepSHAP来解释神经检索模型(已开源)

KDD2018|基于GBM的动态定价回归模型

RecSys2019|优于DeepFM和XDeepFM的CTR模型FiBiNET

SIGIR2018|选择性GBDT(SelGB)用于排序学习(已开源)

IJCAI2019|基于对抗变分自编码的协同过滤框架VAEGAN

聊聊CatBoost

聊聊XGBoost CatBoost LightGBM RF GBDT

顶会中深度学习用于CTR预估的论文及代码集锦 (3)

ICML 2018 深度学习论文及代码集锦(5)

深度学习用于机器翻译的论文及代码集锦