【推荐算法论文阅读】Wide & Deep Learning for Recommender Systems

Wide部分主要作用是让模型具备较强的“记忆能力”；Deep部分的主要作用是让模型具有“泛化能力”。正是这样的结构特点，使模型兼具了逻辑回归和深度神经网络的优点——能够快速处理并记忆大量历史行为特征，并且具有强大的表达能力。

“记忆能力”：模型直接学习并利用历史数据中的物品或者强特征的“共现频率”的能力。一般来说，协同过滤、逻辑回归等简单模型具有较强的“记忆能力”。这类模型结构简单，没有过多的特征交叉，原始数据往往可以直接影响推荐结果，产生类似于”若点击过A则推荐B“这类规则式的推荐，相当于模型直接记住了历史数据的分布特点，并利用这些记忆进行推荐。多层神经网络特征会被多层处理，不断与其他特征交叉，使得模型对原始强特征的记忆反而不如简单模型。像逻辑回归这类简单模型，如果发现这样的“强特征”，则其相应的权重就会在模型训练过程中被调整得非常大，这样就实现了对这个特征的直接记忆。相反，对于多层神经网络来说，特征会被多层处理，不断与其它特征进行交叉，因此模型对这个强特征的记忆反而没有简单模型深刻。

“泛化能力”：模型传递特征的相关性，以及发觉稀疏甚至从未出现过的稀有特征与最终标签相关性的能力。矩阵分解比协同过滤的泛化能力强，因为MF引入了隐向量，使得数据稀少的用户或者物品也能生成隐向量，从而获得由数据支撑的推荐得分，这就是典型的将全局数据传递到稀有物品上，从而提高泛化能力。再如，深度神经网络通过特征次组合，可以发掘数据中潜在的模式，即使非常稀疏的特征向量输入，也能得到较稳定平滑的推荐概率。

单层的Wide部分擅长处理大量稀疏的id类特征；Deep部分利用神经网络强大的表达能力，进行深层的特征交叉，挖掘藏在特征背后的数据模式。

上图是Google Play的推荐模型，Deep部分的输入是全量的特征向量，包括用户年龄、已安装应用数量、设备类型、已安装应用、曝光应用等特征。已安装应用、曝光应用等类别型特征，需要经过Embedding层输入