为了提高神经网络的性能,是应该增加宽度呢?还是应该增加深度呢?增加宽度和增加深度各有什么样的效果呢?
本文对论文《Wide & Deep Learning for Recommender Systems Heng-Tze》中关于宽度模型和深度模型的对比实验进行介绍。
推荐系统
本论文基于推荐系统,推荐系统的运作如图。以APP推荐为例,首先用户在查询入口输入关键字,系统自动将Database中的items对关键字进行匹配,从而Retrieval一定的items,这些items将根据之前使用用户的各种行为数据logs学习到的model进行Ranking,从而将用户更可能下载的APP排在前面。
模型介绍
这里的模型,是针对上图中的Model模型。作者提及在推荐系统中最重要的两个特性是Memorize和generalize。Memorize的过程就是根据以往用户的数据训练模型的过程,类似training;generalize就是使用model对新的输入数据进行预测。
作者对比了三种模型,如下图,分别是宽度模型(wide models),深宽结合模型(wide&deep models)深度模型(deep models)。对于各模型的特点理解,故名思意,不做更多解释。