普渡大学提出轻量级特征交互算法deeplight大幅加速ctr预估在线服务(已开源)

DeepLight: Deep Lightweight Feature Interactions for Accelerating CTR Predictions in Ad Serving

Wei Deng, Junwei Pan, Tian Zhou,Deguang Kong, Aaron Flores, Guang Lin

Purdue University, Yahoo Research, Google,Inc

https://arxiv.org/pdf/2002.06987.pdf

 

 

点击率预估在在线展示广告中非常重要。基于embedding的神经网络可以利用浅层结构来学习精确的特征交互，深层神经网络可以学习深层次的特征交互。

 

这些比较成熟的模型，会降低预估推理的速度，至少会降低几百倍。为了解决显著增加的服务延迟，并且为了保证在生产环境中在线广告的内存利用率更高，这篇文章提出DeepLight，该框架可以在三方面加速ctr预估。一，通过在浅层结构中精确搜索信息量更大的特征交互来加速模型推理，二，在深层结构中，从层内和层间对冗余的层和冗余的参数进行剪枝，三，促使embedding层的稀疏性，进而保持最有判别性的信息。

 

这三方面叠加起来，作者们所提方法在不损失预测准确性的前提下，在criteo和avazu数据集上模型的推理速度分别提升46倍和27倍。

 

这为在生产环境中部署复杂的用于在线广告的基于embedding的神经网络奠定了基础。

目前ctr预估中，主流模型有以下几个

线上服务中的要求及挑战如下

deepfm跟作者们所提模型结构对比如下

deepfwfm的每个结构图示如下

作者们所提模型的主要贡献如下

作者们所提模型的主要创新在于

几种模型的计算复杂度对比如下

作者们所作的结构剪枝主要包含以下三种

deeplight结构示意图如下

deeplight有以下三个特性