摘要
为改进经典推荐算法对特征工程的高依赖性以及深度学习方案因产生过多冗余信息而计算量增大的问题,Cheng等人提出了一种可以兼备记忆性以及泛化性的深度学习模型:Wide & Deep。Wide & Deep的模型结构简单,由wide 以及 deep两部分组成,在深度学习领域在推荐算法的应用中具有里程碑式的意义。
1.推荐算法中的两大任务
Cheng等人认为推荐算法主要需要解决两大问题:记忆性(memorization)以及泛化性(generalization)
- 记忆性在原文中的定义为:
Memorization can be loosely defined as learning the frequent co-occurrence of items or features and exploiting the correlation available in the historical data.
记忆性是指算法自行学习特征与物品,物品与物品,特征与特征共现的某种关系,并从用户的历史数据中找出存在的相关性。举个例子,男性,20岁 ,喜欢买鞋子。 女生,25岁,喜欢买化妆品。记忆性即模型挖掘到:20岁的男生大概率会喜欢买鞋子,25岁的女生大概率会喜欢买化妆品这样的这种联系的能力。
- 泛化性在原文中的定义为:
Generalization, on the other hand, is based on transitivity of correlation and explores new feature combinations that have never or rarely occurred in the past.
泛化性比较好理解,指的是模型根据挖掘到的相关性来创造新特征的能力。
那么Wide & Deep是如何解决记忆性以及泛化性的问题呢?
2.网络结构
Wide & Deep的网络由Wide与Deep两个部分组成,模型结构的结构非常简单,如下图。下文将简单地对两个部分进行介绍。