RecSys2019|优于DeepFM和XDeepFM的CTR模型FiBiNET

FiBiNET: Combining Feature Importance and Bilinear feature Interaction for Click-Through Rate Prediction

Tongwen Huang, Zhiqi Zhang, Junlin Zhang

Sina Weibo Inc.

https://arxiv.org/pdf/1905.09433.pdf

在facebook，新浪微博这种互联网公司中，广告以及信息流排序至关重要。

很多实际广告和信息流排序系统中，点击率预估起着核心作用。关于点击率预估，现有的比较流行的模型包括了逻辑回归，基于树的模型，基于分解机的模型，还包括了基于深度学习的模型。

但是，很多现有工作计算特征交互的方式比较简单，比如内积等，这些方式对特征重要性没有过多关注。

这篇文章提出一种新的模型，FiBiNET，全称为Feature Importance and Bilinear feature Interaction NETwork，该模型能够动态学习特征重要性以及细粒度的特征交互。FiBiNET能够利用Squeeze-Excitation网络 （SENET）机制来学习特征重要性，而且，该网络能够利用双线性函数蓝学习特征之间的交互。

在两个真实数据集上的大量实验表明，这种浅层网络效果优于其他浅层模型，比如FM，FFM。为了进一步提升效果，将这种网络与经典的DNN结合得到一种深层模型。深层FiBiNET优于其他效果非常好的模型，比如DeepFM以及XdeepFM。

这篇文章的贡献如下

这种新网络的组成描述如下

整体结构图示如下

embedding层的组成及维度描述及标记如下

SENET流程描述如下

SENET所对应的结构图示如下

其中Squeeze的过程主要依赖于pooling操作

excitation操作的描述如下

该操作类似于自编码操作

reweight操作过程描述如下

关于特征交互，本文的方法结合了内积和Hadamard积

图示如下

特征交互又分为三种情况

各种情况下参数总数不同，第三种交互所需参数最多

连接层比较简单，将两个向量拼接起来

几种模型之间的关系如下

数据集描述及分割策略如下

评价标准及特性如下

实验环境及参数设置如下

在浅层模型的效果对比如下

在深层模型中效果对比如下

不同的交互组合方式效果对比如下

这里的不同组合解释示例如下

不同的双线性交互效果对比如下

针对embedding层大小，实验结果对比如下

层数对模型效果影响如下

隐含层单元数对模型效果影响如下

不同成分的影响如下

其中BI SE分别对应双线性交互层以及SENET

---

              我是分割线

---

您可能感兴趣