Wide and Deep论文笔记加理解

文论提出了学习过程中核心的两个概念，memorization and generalization，记忆与一般化

memorization 指记忆，即规则

generalization指泛化，即归纳

我们一般学习的内容是归纳而来的，但是也需要加上一些例外的规则，才能够学习到真实的世界。

a wide linear model 即学习的是规则部分，

a deep neural network即学习的是泛化部分，

我们知道，一般含有类别特征的特征集都是很稀疏的，这种特征集常出现在推荐系统，搜索和排序问题中。作者声称Wide & Deep Learning很适用于这种特征集。

对于wide部分，需要人工特征工程，wide会记录下特征的一系列特征的组合，但没出现的不会学习到。

而dnn部分通过embedding层做为输入进行学习，可以学习到高阶特征，如可以学习到汉堡与炸鸡相似，进而得出较好的推荐效果。

单独的wide部分可以理解为典型的FM，当新来一批数据给出推荐结果。单独的deep部分可以理解为目标是学习embedding层，查找与query最相似的item。

两者相结合的话，相当于结合两者优势（具体场景描述可以见google ai blog）。