WWW2018|FwFM加权域分解机在CTR预估中的应用

Field-weighted Factorization Machines for Click-Through Rate Prediction in Display Advertising

Junwei Pan, Jian Xu, Alfonso Lobos Ruiz, Wenliang Zhao, Shengjun Pan , Yu Sun, Quan Lu

Yahoo Research, TouchPal, UC Berkeley, LinkedIn, Ablibaba

http://cn.arxiv.org/pdf/1806.03514.pdf

点击率预估在在线展示广告中非常重要。其中的数据通常是多域类别型数据，每个特征是类别型特征，并且属于且只属于一个域。这种数据具有有一种有趣的特性，一个域中的特征通常跟其他域中的特征交互方式不同。

最近，域分解机(FFMs)对这些不同的交互方式可以精确的建模，进而使得FFMs取得的效果非常好。但是，FFMs中的参数个数跟特征数和域数的乘积同阶，这在实际生产系统中时不可接受的。

这篇文章提出域加权的分解机(FwFMs)，对不同域中不同的特征交互建模时在耗内存方面更加高效。

实验结果表明，FwFMs利用相对FFMs 4%的参数即可取得相当的效果。如果利用跟FFMs同样的参数个数，可以在两个真实ctr数据集上分别提升0.92%和0.47%。

展示广告核心诉求为

多域类别数据示例如下表

特征交互的影响举例如下

通常，不同域之间的特征交互强度不同

这篇文章的主要贡献如下

lr用于ctr预估的问题描述及数学表示如下

fm及ffm的数学表示及区别如下

不同特征交互的强度可以利用互信息来衡量

对应的图示如下

颜色越深，表示域对的交互信息越强

作者们所提模型数学表示如下

几个模型的参数个数对比如下

fwfm有三种形式

数据集描述、分割及采样策略描述如下

下面是特征描述及预处理逻辑

数据集信息统计如下

tensorflow的实现结构图示如下

几个模型在两个数据集上的效果对比如下

ffm和fwfm具有相同参数时，效果对比如下

fwfm及其变种效果对比如下

不同的正则系数对模型效果影响如下

不同的学习率对模型效果影响如下

不同的嵌入层单元数对模型效果影响如下