深度推荐模型-Wide&Deep

一、动机

在CTR预估任务中利用手工制造的交叉组合特征来使线性模型具有“记忆性”，使模型记住共现频率较高的特征组合，往往也能达到一个不错的baseline，且可解释性强。但这种方式有着较为明显的缺点：
1.特征工程需要耗费太多精力。
2.模型是强行记住这些组合特征的，对于未曾出现过的特征组合，权重系数为0，无法进行泛化。
为了加强模型的泛化能力，研究者引入了DNN结构，将高维稀疏特征编码变为低维稠密的Embedding vector，这种基于Embedding的方式能够有效提高模型的泛化能力。但是，基于Embedding的方式可能因为数据长尾分布，导致长尾的一些特征无法被充分学习，其对应的Embedding vector是不准确的，这便会造成模型泛化过度。
模型能够从历史数据中学习到高频共现的特征组合的能力，称为模型的Memorization。
能够利用特征之间的传递性去探索历史数据中从未出现过的特征组合，称为模型的Generalization。
Wide&Deep兼顾这两个属性并在Google Play store的场景中成功落地。

二、模型结构及原理

• Wide部分是一个广义的线性模型，输入的特征主要由两部分组成，一