wide&deep模型演化

推荐系统模型演化

LR-->GBDT+LR

FM-->FFM-->GBDT+FM|FFM

FTRL-->GBDT+FTRL

Wide&DeepModel (Deep learning era)

将从以下4各方面进行模型分析：

1.why（模型设计背后的原理）

2.how（具体怎么设计，如何应用）

3.discussion（模型讨论）

Wide&Deep

• why

Memorization 和 Generalization

假如你设计了一个外卖推荐系统gugu，用户睡觉醒来需要点个外卖，推荐系统推荐给用户了一个烤肉饭，用户如果购买了就标记为1，否则为0（说明不是一个好的推荐）。点击率预估就是衡量推荐系统的一个线下指标。

wide（memorization)

​ 那如何对用户合适的商品呢，我们需要记住用户的爱好。所以，你设计了几个相关的特征，用一个简单的线性模型学习这些特征的权重组合，模型会预测对特定产品的点击概率, gugu2.0上线了。一段时间后，用户吃腻了，需要换个口味，但是模型只记住了特定的模式。对一些训练集中未出现的组合特征，由于模型没有见过，记忆中没有关于这个特征的信息，导致模型单一，用户就会不满意。

deep(generalization)

​ 为了推荐一些新的食物而且和用户之前点的食物相关，但是要口味不一样。模型需要能都捕捉到食物之间的内在联系，普通的离散特征无法满足这一要求，embedding引入了低维稠密向量表示离散特征的方法，相似的食物在embedding的一些维度上可能是一样的。比如口水鸡和椒麻鸡，经过embedding用4个维度[鸡肉，辣，麻，甜]表示

[0.52,0.23,0.312,0.002] [0.52,0.23,0.45,0.002]

使用embedding后的稠密向量，可以充分挖掘不同食物的相似性，可以做出新的合理的推荐，使用前馈神经网络进行学习，对于没有见过的特征，由于深度学习的泛化能力，模型也可以做出不错的预测。但是你发现模型会过度泛化，当用户的行为比较稀疏时，gugu会推荐一些相关性较小的食物。

wide