深度学习在推荐算法上的应用进展

作者：赵鑫，中国人民大学信息学院讲师，微博：赵鑫RUC。
原文：RUC智能情报站 | 深度学习在推荐算法上的应用进展

摘要：最近几年是深度学习发展的黄金时间，在多个领域取得了重要进展，包括图像领域、语音领域、文本领域等。深度学习为科研工作者提供了一种非常有效的技术途径，其本质上是对数据特征进行深层次的抽象挖掘，通过大规模数据来学习有效的特征表示以及复杂映射机制，从而建立起有效的数据模型。从方法上来说，深度学习具有的优点本质上是领域无关的。因此，在可预见的未来，深度学习将会作为一种较为通用的数据建模方法，对于多个潜在领域的应用产生重要影响。

在信息大数据时代，用户的个性化需求不断提高，对于信息系统智能度的要求带来了很多挑战。面对大量的数据信息，如何帮助用户有效获取所需要的信息，有力改善信息超载（information overload）问题，是数据科研工作者的主要研究挑战之一。整体来说，目前信息处理系统有两种工作模式：第一种称之为“拉”模式，比较典型的就是搜索引擎，用户提交查询，系统返回搜索结果；第二种称之为“推”模式，比较典型的就是推荐系统，用户不要求显式提交任何查询和兴趣偏好，而系统通过自动化算法来进行“信息”推送。在信息智能时代，推荐系统显得尤为重要，已经成为互联网以及数据服务公司的核心技术模块之一，对于推荐系统技术的推进具有重要应用意义。在此选择推荐系统作为主要应用，初步介绍深度学习算法在该领域内的若干应用进展。本文接下来首先介绍推荐系统和深度学习的相关基础知识，然后围绕目前的相关研究进展进行梳理，主要包括浅层嵌入式表示模型和神经网络模型，最后展望了四个未来的研究方向。

推荐系统简介

典型任务和相关算法

• 评分预测

最早的推荐系统任务（也是目前较为常见的任务）是评分预测。输入归纳起来可以分为用户（User）、物品（Item）和打分（Rating）三个方面，因此可以使用一个二维矩阵来刻画评分预测的输入，分别对应于一个矩阵中的行、列、值。为了解决这一问题，常见的算法如基于相似近邻的协同过滤算法、矩阵分解等。其中矩阵分解算法得到了广泛应用，并且在实践中具有很好的实战效果 [1]。

• 物品推荐

与评分预测相似，输入归纳起来可以分为用户（User）对应的物品（Item）二维矩阵来刻画输入，不同的是每个矩阵数值不是一个具体的打分，而是一个用户是否选择了某一物品。大部分评分预测算法都可以（可能需要进行适当改动）应用到物品推荐中。

• 基于背景或者特征的推荐 (Context-aware recommendation)

推荐系统的不断发展进一步丰富了可供推荐算法使用的信息。如对于新闻推荐，物品的属性则有可能是新闻的文本内容、关键词、时间等，同时包括用户的点击、收藏和浏览行为等等。在电商网站上，还可能包含很多信息评论文本（Review Text）、用户查看的历史记录、用户购买的记录等。还可能获得用户的反馈信息，总体上可以分为两类：一是显式的用户反馈（Explicit Feedback），这是用户对商品或信息给出的显式反馈信息，评分、评论属于该类；另一类是隐式的用户反馈（Implicit Feedback），这类一般是用户在使用网站的过程中产生的数据，它们也反映了用户对物品的喜好，比如用户查看了某物品的信息，用户在某一页面上的停留时间，等等。对于基于背景敏感的推荐，可以使用SVD++ [2], SVDFeature [3], libFM [4]等基于特征的推荐算法。

• 复杂推荐任务

在真实的推荐中，往往要面临很多复杂的推荐任务 [5]。例如，基于session的推荐任务。在这个任务中，用户在一个时间片段内连续做出相应的操作和选择，需要连续考虑用户整体的兴趣偏好和在一个特定session内的行为。这种任务的解决方法往往和序列模型相关。另一种复杂任务叫做基于页面的推荐。上述所提到的推荐任务的返回结果都是一个单一列表，而实际上往往需要进行基于用户UI方面的结果展示。例如，在一个电商平台，如何将推荐产品合理地展示在页面的各个部分，可能的策略如按照类别分类展示、重点区域突出个性化推荐结果。这种任务目前在研究中还很少被关注，主要原因是很难得到相关的科研数据。

深度学习与分布式表示学习概览

深度学习的概念源于人工神经网络的研究。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的有效表示，而这种使用相对较短、稠密的向量表示叫做分布式特征表示（也可以称为嵌入式表示）。本部分主要对于目前使用较广的一些学习算法进行一个简单的回顾。

首先介绍一些浅层的分布式表示模型。目前在文本领域