推荐系统6--Wide&Deep与Deep&Cross模型（综合原始特征及交叉特征）

推荐系统6--Wide&Deep与Deep&Cross模型（综合原始特征及交叉特征）_Evey_zhang的博客-CSDN博客

推荐主要两种方法

一个是获得用户与物品的表征，算用户对物品的评分，mf

另一个是特征交叉

widedeep模型

wide部分是获得原始特征的信息，广义的线性模型，不涉及特征交叉，这侧会有很多高稀疏的离散特征，对于wide部分训练时候使用的优化器是带正则的FTRL算法。FTRL 算法是一个稀疏性很好，精度又不错的随机梯度下降方法，该算法是非常注重模型稀疏性质的。Wide部分模型训练完之后留下来的特征都是非常重要的。模型的"记忆能力"就可以理解为发现“直接的”，“暴力的”，“显然的”关联规则的能力。
deep部分是大规模稀疏特征经过embedding得到低维稠密向量，经过mlp层进行特征交叉，对于Deep部分的DNN，作者使用的是AdaGrad优化器。这样做是为了使模型可以得到更加精确的解。

widedeep

把两部分的结果联合起来进行训练，两部分的输出重新使用一个激活函数进行输出

集成训练以及联合训练的区别

集成训练，模型参数分别训练

联合训练，模型参数共同训练

使用经验

wide侧常使用重要的交互特征，稀疏的高维离散特征，deep侧接收连续的特征

训练优化器不同，wide侧使用带l1正则的优化器，处理稀疏特征，deep侧是使用adagrad，l2正则

wide端直接与输出连接

如果有特征不适合deep wide，可以使用fm得到输出，处理方式很灵活

deep cross

crossnetwork替代了wide，增加特征之间的交互力度，且运算复杂度低

1、叉乘阶数是有限的，第l层叉乘的最高阶数是l+1

2.cross网络参数共享

3.参数量计算 层数*特征*2

4.交叉网络的时间和空间复杂度是线性的。这是因为，每一层都只有一个w和b，没有激活函数的存在，相对于深度学习网络，交叉网络的复杂性可以忽略不计。

5.FM模型中，一般只局限于2阶特征交叉，但是Cross Network 可以实现更高阶的特征交互，阶数由网络深度决定，并且交叉网络的参数只依据输入的维度线性增长。

6.每一层的输入加了原始输入，是结果不会偏离太远

7.结构与resnet相似，可以缓解梯度消失

widedeep 以及deepcross模型开创了组合模型的先河，融合了传统模型的记忆能力和深度模型的泛华能力

模型结构简单，便于部署上线