推荐系统遇上深度学习(八十六)-[腾讯&微博]GateNet:使用门机制提升点击率预估效果...

本文介绍的论文是《GateNet:Gating-Enhanced Deep Network for Click-Through Rate Prediction》
下载地址为：https://arxiv.org/pdf/2007.03519.pdf

1、背景

深度学习在CTR预估中已经有了广泛的应用。在深度学习模型中，大都包括embedding layer和MLP hidden layers。同时，门机制（gating mechanism）在CV和NLP领域也有广泛的应用，最为大家熟知的就是在LSTM和GRU中的应用。

关于门机制的介绍，大家可以参考张俊林老师（同时也是本文介绍的论文的作者之一）下面的博文：https://blog.csdn.net/malefactor/article/details/51183989#0-tsina-1-86888-397232819ff9a47a7b7e80a40613cfe1

一些实验证明门机制可以提升非凸深神经网络的可训练性，那么将门机制应用在深度学习CTR预估模型中，会碰出怎样的火花呢？本文介绍的便是二者的结合：GateNet。

2、GateNet介绍

推荐系统中常用的深度学习模型入Wide & Deep，YoutubeNet，DeepFM等，可以看到这些模型都包括embedding layer和MLP hidden layers，那么将门机制和这两种layer相结合，便产生了Feature Embedding Gate和Hidden Gate，接下来对二者分别介绍。

2.1 Feature Embedding Gate

Feature Embedding Gate主要是在embedding layer增加门机制，用于从特征中选择更为重要的特征。如果模型中带有Feature Embedding Gate，其网络结构如下图所示：

假设输入的离散特征，经过Embedding layer得到E=[e1,e2,e3,...,ei,...ef]，其中f代表特征域的个数，ei代表第i个域的embedding向量，长度为K。

接下来，embedding向量会通过Feature Embedding Gate进行转换。首先，对每一个embedding向量，通过下面的公式来计算门值gi&#