Wide&Deep模型

Wide&Deep

这次我们来学习推荐算法中的Wide&Deep模型。该模型出自Google 在16年发布的一篇文章
Wide & Deep Learning for Recommender Systems。在文中提出了一种融合浅层（wide）模型和深层（deep）模型进行联合训练的框架
该框架综合利用浅层模型的记忆能力和深层模型的泛化能力，实现单模型对推荐系统准确性和扩展性的兼顾。该模型主要用来在推荐系统的点击率预估，即给出用户一个物品是否进行点击操作或者给出点击的概率。文章摘要如下

Generalized linear models with nonlinear feature transformations are widely used for large-scale regression and classification problems with sparse inputs. Memorization of feature interactions through a wide set of cross-product feature transformations are effective and interpretable, while generalization requires more feature engineering effort. With less feature engineering, deep neural networks can generalize better to unseen feature combinations through low-dimensional dense embeddings learned for the sparse features. However, deep neural networks with embeddings can over-generalize and recommend less relevant items when the user-item interactions are sparse and high-rank. In this paper, we present Wide & Deep learning—jointly trained wide linear models and deep neural networks—to combine the benefits of memorization and generalization for recommender systems. We productionized and evaluated the system on Google Play, a commercial mobile app store with over one billion active users and over one million apps. Online experiment results show that Wide & Deep significantly increased app acquisitions compared with wide-only and deep-only models. We have also open-sourced our
implementation in TensorFlow.

大致意思是使用非线性特征变换的广义线性模型被广泛用于具有稀疏输入的大规模回归和分类问题。通过一系列特征转换，我们可以完成历史交互的memorization（记忆），用这些特征建立的广义线性模型是有效且可解释的。但如果要提升这类模型的泛化（generalization）性能，需要很多的特征工程工作。深度神经网络可以通过针对稀疏特征学习的低维密集嵌入更好地推广到看不见的特征组合，因此需要较少的特征工程。但是当交互信息较少时，它会overfit，学习到一些本来不存在的关联。我们把前者称为wide，后者称为deep，把这两者组合起来，就得到了wide&deep model。

从模型名称上可以看出该模型分为两部分，Wide和Deep，下面我们分别介绍这两部分。

Wide模型

wide模型为一个线性模型，一般我们认为线性模型通常输入二进制的one-hot稀疏表示特征进行训练，
wide模型可以通过利用交叉特征高效的实现记忆能力，达到准确推荐的目的，通过加入一些宽泛类特征实现一定的泛化能力。但是受限与训练数据，wide模型无法实现训练数据中未曾出现过的泛化。

Wide部分就是基础的线性模型，表示为y=WX+b。X特征部分包括基础特征和交叉特征。而交叉特征可以捕捉到特征间的交互，起到添加非线性的作用。交叉特征可表示为：

Deep模型

下面我们来说Deep模型，Deep模型像FM和DNN这种Embedding类的模型，可以通过学习到的低纬度稠密向量实现模型的泛化能力，包括可以实现对未见过的内容进行泛化推荐。当模型query-item矩阵比较稀疏时，模型的会过分泛化，推荐出很多无相关性的内容，准确性不能得到保证。公式如下所示：

a ( l + 1 ) = f ( W l a ( l