顶会中深度学习用于CTR预估的论文及代码集锦 (1)

[1] Deep Learning over Multi-field Categorical Data – A Case Study on User Response Prediction

ECIR 2016

Weinan Zhang, Tianming Du, Jun Wang

University College London, RayCloud Inc.

https://arxiv.org/pdf/1601.02376.pdf

预测用户响应，比如点击率和转化率，在很多 Web 应用程序中非常重要，这些的web应用程序包括 Web 搜索、个性化推荐和在线广告等。跟图像和音频域中的连续特征不同，Web 空间中的输入特征通常包含多个域，并且大多是离散和类别型特征，而这些特征之间的依赖性并不显而易见。

大部分用户响应预测模型通常是线性模型，或者需要手动构建高阶组合特征。线性模型无法探索特征之间的交互，如果构建高阶组合特征则会导致计算量非常大。

为解决这个问题，作者提出两种使用深度神经网络(DNN)的新模型，进而可以从类别型特征的交互中自动学习有效的模式，进而预测用户的广告点击量。

为使本文所提出的DNN比较高效，作者们利用三种特征转换方法，即分解机 (FM)、受限玻尔兹曼机器(RBM) 和去噪自编码 (DAE)。本文不仅介绍了所提模型的结构及其有效的训练算法。

在真实数据上的大量实验表明，本文所提方法比主要的先进模型效果更好。

本文提出的FNN结构示例如下，其中FNN为Factorisation Machine supported Neural Network

本文提出的SNN结构及预训练方法示例如下，其中SNN为Sampling-based Neural Network

几种方法的AUC对比如下