DeepLight: Deep Lightweight Feature Interactions for Accelerating CTR Predictions in Ad Serving
Wei Deng, Junwei Pan, Tian Zhou,Deguang Kong, Aaron Flores, Guang Lin
Purdue University, Yahoo Research, Google,Inc
https://arxiv.org/pdf/2002.06987.pdf
点击率预估在在线展示广告中非常重要。基于embedding的神经网络可以利用浅层结构来学习精确的特征交互,深层神经网络可以学习深层次的特征交互。
这些比较成熟的模型,会降低预估推理的速度,至少会降低几百倍。为了解决显著增加的服务延迟,并且为了保证在生产环境中在线广告的内存利用率更高,这篇文章提出DeepLight,该框架可以在三方面加速ctr预估。一,通过在浅层结构中精确搜索信息量更大的特征交互来加速模型推理,二,在深层结构中,从层内和层间对冗余的层和冗余的参数进行剪枝,三,促使embedding层的稀疏性,进而保持最有判别性的信息。
这三方面叠加起来,作者们所提方法在不损失预测准确性的前提下,在criteo和avazu数据集上模型的推理速度分别提升46倍和27倍。
这为在生产环境中部署复杂的用于在线广告的基于embedding的神经网络奠定了基础。
目前ctr预估中,主流模型有以下几个
线上服务中的要求及挑战如下
deepfm跟作者们所提模型结构对比如下
deepfwfm的每个结构图示如下
作者们所提模型的主要贡献如下
作者们所提模型的主要创新在于
几种模型的计算复杂度对比如下
作者们所作的结构剪枝主要包含以下三种
deeplight结构示意图如下
deeplight有以下三个特性