SIGIR 2021 | PCF-GNN：基于预训练图神经网络的显式交叉语义建模方案

欢迎关注：阿里妈妈技术公众号 本文作者：言乐 阿里妈妈技术团队​

Explicit Semantic Cross Feature Learning via Pre-trained Graph Neural Networks for CTR Prediction. SIGIR 2021

论文下载：https://arxiv.org/pdf/2105.07752.pdf

 

▐ 1. 背景

在CTR预估场景中，建模特征之间的交互关系是提升模型预估能力的关键之一。比如，在淘宝场景中，一个职业为篮球运动员的用户可能经常点击“Nike-Air Jordan”相关的商品；而一位职业为程序员的用户可能更喜欢点击数码产品。这些例子表明，职业和商品这两个特征之间的交互，即<职业，商品>，可以作为一个比较强的信号来帮助CTR的预估。

目前针对交叉特征的建模，主要分为两大类方法：隐式语义建模和显式语义建模。

• 隐式语义建模：其核心思想是设计一种交叉网络结构，希望通过网络结构自身的表达能力来学习特征之间的交互信息(比如Wide&Deep[1]，DeepFM[2],DCN[3]等等)。尽管，这类方法在工业界以及学术界都被证明能够取得不错的效果。然而其学习得到的交叉语义往往是隐式的，我们很难保证学习到的语义信息是我们想要的。

• 显式语义建模：常用的一种建模方式是利用交叉统计特征来进行显式语义的刻画。具体而言，交叉统计特征可以被看作是特征间历史交互次数的统计。比如，我们可以统计历史中所有职业是篮球运动员的用户点击商品“Nike-Air Jordan”的点击率，将这个统计的点击率作为对应样本在<职业，商品>上的交叉统计特征。显然，这样一种交叉统计值能够显式的反应出特征之间的交互关系，即值越大对应特征之间的相关性越高。

现有的大多数方法主要聚焦在隐式语义建模，而极少关注于显式语义建模。其往往简单的采用交叉统计特征来补充交叉特征的显式语义部分。然而直接利用交叉统计特征存在着两大挑战：

• 泛化性能差：交叉统计特征主要是依赖于历史的统计，因此是无法推断历史中从未出现过的交叉特征pair对的统计值。

• 存储开销大：在线服务的时候，针对交叉统计特征，我们往往需要维护一张<交叉特征，统计值>的映射表，比如<<篮球运动员，“Nike-