Wide & Deep算法

一、模型介绍

推荐系统的挑战是 memorization与generalization

memorization，记忆能力，学习items或者features之间的相关频率，在历史数据中探索相关性的可行性

generalization，泛化（推理）能力，基于相关性的传递，去探索一些在过去没有出现过的特征组合

结合线性模型的记忆能力和DNN模型的泛化能力，在训练过程中同时优化两个模型的参数

 二、模型        

1、Wide推荐： 系统通过获得用户的购物日志数据，包括用户点击哪些商品，购买过哪些商品，然后通过OneHot编码转换为离散特征 好处是可解释性强，不足在于特征组合需要人为操作

2、Deep推荐 通过深度学习出一些向量，这些向量是隐性特征，往往没有可解释性的

3、两个模型融合的方法： ensemble：两个模型分别对全量数据进行预测，然后根据权重组合最终的预测结果 joint training：wide和deep的特征合一，构成一个模型进行预测

 三、模型推荐原理

1、Deep推荐

Deep模型使用的特征：连续特征，Embedding后的离散特征， 使用前馈网络模型，特征首先转换为低维稠密向量，作为第一个隐藏层的输入，解决维度爆炸问题 根据最终的loss反向训练更新。向量进行随机初始化，隐藏层的激活函数通常使用ReLU

 

2、Wide模型使用的特征：

Cross Product Transformation生成的组合特征，但无法学习到训练集中没有出现的组合特征 

Wide join Deep

四、DeepCTR工具

https://github.com/shenweichen/DeepCTR 实现了多种CTR深度模型 与Tensorflow 1.4和2.0兼容