【学习笔记】深度模型Wide&Deep

1.背景

来自16年的一篇Google的论文《Wide & Deep Learning for Recommender Systems》，文章将传统的LR和DNN组合构成一个wide&deep模型（并行结构），既保留了LR的拟合能力，又具有DNN的泛化能力，并且不需要单独训练模型（join），可以方便模型的迭代。
问题的提出：
线性模型LR泛化能力较弱，且需要做好特征工程，无法学习到训练集中未出现的组合特征。
FM或DNN通过学习embedding vector虽然可以学习到训练集中未出现的组合特征，但是容易过度泛化。

2.结构

Wide部分就是基础的线性模型，表示为y=WX+b。X特征部分包括基础特征和交叉特征。交叉特征在wide部分很重要，可以捕捉到特征间的交互，起到添加非线性的作用。
Deep部分就是个前馈神经网络（a feed-forward neural network），可以简单理解为Embedding+MLP这种普遍的结构。
网络的训练方式采用的是联合训练，并不是单独的训练两部分网络，然后在预测的时候在一起使用，而是直接在训练阶段就同时训