【Datawhale】推荐系统-Wide & Deep

点击率预估是对每次广告点击情况作出预测，可以输出点击或者不点击，也可以输出该次点击的概率，后者有时候也称为pClick.对于点击率预估模型而言，其最终作用是输出点击的一个概率，是一个回归模型

可以解决[[FM模型]]的一些问题如泛化能力过强导致会推荐一些其实并没有那么相关的物品。

Wide & Deep 模型的记忆能力和泛化能力
对于RS而言，memorization和generalization是两个常见的概念，其中memorization代表推荐系统的保守性，即RS通过记忆为用户推荐之前行为的items，而generalization则是泛化能力的体现，倾向于提高推荐系统的多样性。而Wide & Deep模型综合了两个方面，其中，memorization通过一个线性模型来实现，而generalization通过[DNN]来实现。
其中，对于Wide & Deep 模型而言，需要根据自己的场景去判断哪些特征放在Wide中，哪些特征放在Deep中

点击率预估是用来解决什么问题？

点击率预估是对每次广告点击情况作出预测，可以输出点击或者不点击，也可以输出该次点击的概率，后者有时候也称为pClick.

点击率预估模型需要做什么？

通过上述点击率预估的基本概念，我们会发现其实点击率预估问题就是一个二分类的问题，在机器学习中可以使用逻辑回归作为模型的输出，其输出的就是一个概率值，我们可以将机器学习输出的这个概率值认为是某个用户点击某个广告的概率。

点击率预估与推荐算法有什么不同？

广告点击率预估是需要得到某个用户对某个广告的点击率，然后结合广告的出价用于排序；而推荐算法很多大多数情况下只需要得到一个最优的推荐次序，即TopN推荐的问题。当然也可以利用广告的点击率来排序，作为广告的推荐。

操作流程
**Retrieval **：
利用机器学习模型和一些人为定义的规则，来返回最匹配当前Query的一个小的items集合，这个集合就是最终的推荐列表的候选集。

收集更细致的用户特征，如：
User features（年龄、性别、语言、民族等）
Contextual features(上下文特征：设备，时间等)
Impression features（展示特征：app age、app的历史统计信息等）
将特征分别传入Wide和Deep一起做训练。在训练的时候，根据最终的loss计算出gradient，反向传播到Wide和Deep两部分中，分别训练自己的参数（wide组件只需要填补deep组件的不足就行了，所以需要比较少的cross-product feature transformations，而不是full-size wide Model）
训练方法是用mini-batch stochastic optimization。
Wide组件是用FTRL（Follow-the-regularized-leader） + L1正则化学习。
Deep组件是用AdaGrad来学习。
训练完之后推荐TopN
所以wide&deep模型尽管在模型结构上非常的简单，但是如果想要很好的使用wide&deep模型的话，还是要深入理解业务，确定wide部分使用哪部分特征，deep部分使用哪些特征，以及wide部分的交叉特征应该如何去选择