ADKDD2017|深度交叉网络DCN在广告点击预估中的应用

Deep & Cross Network for Ad Click Predictions

Ruoxi Wang, Bin Fu, Gang Fu, Mingliang Wang

Stanford University, Google

https://dl.acm.org/doi/pdf/10.1145/3124749.3124754

很多预测性模型之所以效果比较好，其中特征工程非常关键。但是，特征工程并不简单，通常需要人工特征工程，或者需要全面的搜索。

深度神经网络可以自动学习特征交互，但是，深度模型得到的特征交互是隐式的，在学习所有类型的交叉特征方面不一定有效。

这篇文章提出深层交叉网络，DCN，这种模型可以保持深层模型的优势，除此之外，该模型引入一种新的交叉网络，在学习有限阶特征交互方面比较高效。

具体而言，DCN在每一层都明确地利用特征交叉，无需人工特征工程，这种操作相对深度神经网络模型额外增加的复杂度可以忽略不计。

实验结果表明该方法的优势，不仅模型准确率较高，而且占用内存方面也有优势。

fm以及ffm表示能力有限

下面是这篇文章的主要贡献

这篇文章所提网络结构图示如下

嵌入以及堆叠层的实现方式及细节描述如下

交叉网络数学表示如下

交叉网络结构图示如下

特征交叉的度随层数增加而增加

下面是交叉网络的复杂度分析

深层网络数学表示如下

下面是深层网络的复杂度分析

组合层及目标函数形式如下

cross network 跟fm的关系如下

第一个数据集信息简介如下

预处理、优化方法、正则及超参数设置如下

参与对比的几个模型简介如下

几个模型的logloss对比如下

同样目标下，参数个数对比如下

消耗同样内存的情况下，模型效果对比如下

不同的模型结构对模型效果影响如下

crossL layer并不是越多越好