Wide & Deep Learning for Recommender Systems

ABSTRACT

通过特征的向量积（cross-product）对特征交叉的记忆具有可解释性，而泛化又需要更多的特征工程。而DNN通过对稀疏特征学习低维稠密的embedding表示对未出现的特征组合具有良好的泛化性能。但是，当用户物品关系比较稀疏，维度又比较高时，DNN容易过度泛化，推荐一些不相干的物品。文中提出Wide&Deep 学习，同时训练wide 部分和dnn，将记忆性和泛化性结合在一起。作者在google play上进行实验，实验表明W&D 模型与只有wide和只有deep部分相比，可以极大提高app的acquisition。

INTRODUCTION

记忆性可以解释为物品或者特征之间的共现关系并从历史数据中发现这种联系。泛化性是物品关系之间的传递或者转移，可以用来探索历史数据中没有出现或者很少出现的特征组合。 基于记忆性推荐出的商品一般和用户发生过历史行为的物品相关，而泛化性可以提高推荐的多样性。文中着手于google play上的app推荐。

广义线性模型比如LR因为简单、可解释、可扩展，在工业级的推荐和排序问题中广泛使用。一般使用ont-hot编码的二元稀疏 特征来进行训练。记忆性可以通过特征之间的cross-product来完成。比如AND(user_installed_app=netflix, impres- sion_app=pandora”) 只有在用户安装了netflix且看到了pandora app之后该特征的特征值为1。这也解释了一个特征对的共现关系和label之间的关系。泛化性可以通过更粗粒度的特征组合来实现。比如AND(user_installed_category=video, impression_category=music)，但是这种需要人工特征工程。One limitation of cross-product trans- formations is that they do not generalize to query-item fea- ture pairs that have not appeared in the training data.

基于Embedding的模型，比如FM或者DNN，可以通过学习query和item特征的低维embedding表示，可以泛化到之前没有出现过的query-item特征对，减少了特征工程。
但是，对于高维稀疏的特征，学习低维表示比较难。
in such cases, there should be no interactions between most query-item pairs, but dense embeddings will lead to nonzero predictions for all query-item pairs, and thus can over-generalize and make less relevant recommendations.

RECOMMENDER SYSTEM OVERVIEW

第一个阶段是检索，返回和查询最匹配的物品列表。
第二个阶段是排序，得分经常是P(Y|X),在特征向量x的条件下用户行为y的概率。
特征向量x包括了用户特征（比如国家、语言、人口统计资料），上下文特征（设备、一天中的小时，一周中的哪一天）、展现特征（app 的存活时间、历史统计数据） 本文专注于排序模型。

WIDE & DEEP LEARNING

The Wide Component
这部分是一个广义线性模型

y = W x + b y=Wx +