wide deep模型

wide deep 模型

对于推荐系统来说特征是大量稀疏的类别的特征，和图像不同推荐系统中重要的反而是稀疏的类别特征，数值特征反而没那么重要。稀疏特征意味着单个特征表达能力弱、特征组合爆炸、分布不均匀等。

推荐系统还常常存在低频、长尾模式，需要具有好的泛化性，来发现这些。

wide deep 模型的结构比较简单，他主要由wide部分的神经网络和deep部分的多层神经网络，输出层综合wide部分和deep部分的输出。

其中wide部分主要处理比较稀疏的特征，deep层则输入不是稀疏的或者经过降维的特征，wide层有利于增强模型的记忆能力也就是直接的显然的相关的特征，使用FTRL 这样的算法，充分利用特征的稀疏性。deep层有利于增强模型的泛化能力，也就是将不明显的特征统统都丢进模型里让模型自己去学习，进行特征组合使用，使用AdaGrad 优化。

如上图所示当前曝光的app和用户安装app的关联直接输入到wide层，而deep层则是直接输入的age #app install等特征，这些特征是数值类型的相对来说比较稠密，让深度网络自己去提取他们内在的相关性。

问题
1、在医疗模型方面，和疾病直接相关的实验室检验可以放在wide部分，其他不明显相关的实验室检验可以放在deep层
2、FTRL 让wide 部分大部分权重为0，从而模型需要的特征量大大减少
3、deep 部分本身输入的特征都是比较稠密的，并且通过深度网络，可自行提取构建特征。