深度学习Wide&Deep模型——记忆能力和泛化能力的综合

Wide&Deep前言

Wide&Deep模型的主要思路正如其名，是由单层的Wide部分和多层的Deep部分组成的混合模型。其中Wide部分的主要作用、是让模型具有较强的“记忆能力”；Deep部分的主要作用是让模型具有“泛化能力”。正因为这样的结构特点，使模型间距了逻辑回归和深度神经网络的优点——能够快速处理并记忆大量历史行为特征，并且具有强大的表达能力。不仅在当时迅速成为业界争相应用的主流模型，而且还衍生出大量Wide&Deep模型为基础结构的混合模型。影响力一直延续到至今。

模型的记忆能力与泛化能力

   Wide&Deep模型的设计初衷和其最大的价值在于同时具备较强的“记忆能 力”和“泛化能力”。“记忆能力”是一个新的概念，“泛化能力”虽在之前的章 节中屡有提及，但从没有给出详细的解释，本节就对这两个概念进行详细的解释。

  “记忆能力”可以被理解为模型直接学习并利用历史数据中物品或者特征的“共现频率"的能力。一般来说，协同过滤、逻辑回归等简单模型有较强的“记忆能力”。由于这类模型的结构简单，原始数据往往可以直接影响推荐结果，产生和类似于“如果点击过A，就推荐B”这类规则式的推荐，这就相当于模型直接记住了历史数据的分布特点，并利用这些记忆进行推荐。

  因为Wide&Deep是由谷歌应用商店(Google Play)推荐团队提出的，所以 这里以App推荐的场景为例，解释什么是模型的“记忆能力”。
  假设在Google Play推荐模型的训练过程中，设置如下组合特征:AND(user_installed_app=netflix, impression_app=pandora)(简称netflix&pandora),它 代表用户已经安装了netflix这款应用，而且曾在应用商店中看到过pandora这款应用。如果以“最终是否安装pandora”为数据标签(label)，则可以轻而易举地 统计出 netflix&pandora这个特征和安装pandora这个标签之间的共现频率。假设 二者的共现频率高达10%(全局的平均应用安装率为1%)，这个特征如此之强， 以至于在设计模型时,希望模型一发现有这个特征,就推荐pandora这款应用(就 像一个深刻的记忆点一样印在脑海里)，这就是所谓的模型的“记忆能力”。像逻 辑回归这类简单模型，如果发现这样的“强特征”，则其相应的权重就会在模型 训练过程中被调整得非常大，这样就实现了对这个特征的直接记忆。相反