【学习笔记】深度模型Wide&Deep

1.背景

来自16年的一篇Google的论文《Wide & Deep Learning for Recommender Systems》，文章将传统的LR和DNN组合构成一个wide&deep模型（并行结构），既保留了LR的拟合能力，又具有DNN的泛化能力，并且不需要单独训练模型（join），可以方便模型的迭代。
问题的提出：
线性模型LR泛化能力较弱，且需要做好特征工程，无法学习到训练集中未出现的组合特征。
FM或DNN通过学习embedding vector虽然可以学习到训练集中未出现的组合特征，但是容易过度泛化。

2.结构

Wide部分就是基础的线性模型，表示为y=WX+b。X特征部分包括基础特征和交叉特征。交叉特征在wide部分很重要，可以捕捉到特征间的交互，起到添加非线性的作用。
Deep部分就是个前馈神经网络（a feed-forward neural network）࿰