Deep & Cross Network for Ad Click Predictions
Ruoxi Wang, Bin Fu, Gang Fu, Mingliang Wang
Stanford University, Google
https://dl.acm.org/doi/pdf/10.1145/3124749.3124754
很多预测性模型之所以效果比较好,其中特征工程非常关键。但是,特征工程并不简单,通常需要人工特征工程,或者需要全面的搜索。
深度神经网络可以自动学习特征交互,但是,深度模型得到的特征交互是隐式的,在学习所有类型的交叉特征方面不一定有效。
这篇文章提出深层交叉网络,DCN,这种模型可以保持深层模型的优势,除此之外,该模型引入一种新的交叉网络,在学习有限阶特征交互方面比较高效。
具体而言,DCN在每一层都明确地利用特征交叉,无需人工特征工程,这种操作相对深度神经网络模型额外增加的复杂度可以忽略不计。
实验结果表明该方法的优势,不仅模型准确率较高,而且占用内存方面也有优势。
fm以及ffm表示能力有限
下面是这篇文章的主要贡献
这篇文章所提网络结构图示如下
嵌入以及堆叠层的实现方式及细节描述如下
交叉网络数学表示如下
交叉网络结构图示如下
特征交叉的度随层数增加而增加
下面是交叉网络的复杂度分析
深层网络数学表示如下
下面是深层网络的复杂度分析
组合层及目标函数形式如下
cross network 跟fm的关系如下
第一个数据集信息简介如下
预处理、优化方法、正则及超参数设置如下
参与对比的几个模型简介如下
几个模型的logloss对比如下
同样目标下,参数个数对比如下
消耗同样内存的情况下,模型效果对比如下
不同的模型结构对模型效果影响如下
crossL layer并不是越多越好