Hadoop应用开发--基于MapReduce推荐系统的实现

1.推荐系统概述

电子商务网站是个性化推荐系统重要地应用的领域之一，亚马逊就是个性化推荐系统的积极应用者和推广者，亚马逊的推荐系统深入到网站的各类商品，为亚马逊带来了至少30%的销售额。

不光是电商类，推荐系统无处不在。QQ，人人网的好友推荐；新浪微博的你可能感兴趣的人；优酷，土豆的电影推荐；豆瓣的图书推荐；大从点评的餐饮推荐；世纪佳缘的相亲推荐；天际网的职业推荐等。

2.推荐算法分类

按数据使用划分：

– 协同过滤算法：UserCF , ItemCF , ModelCF

– 基于内容的推荐: 用户内容属性和物品内容属性

– 社会化过滤：基于用户的社会网络关系

按模型划分：

– 最近邻模型:基于距离的协同过滤算法

– Latent Factor Mode(SVD)：基于矩阵分解的模型

– Graph：图模型，社会网络图模型

2.1基于用户的协同过滤算法UserCF

基于用户的协同过滤，通过不同用户对物品的评分来评测用户之间的相似性，基于用 户之间的相似性做出推荐。

简单来讲就是：给用户推荐和他兴趣相似的其他用户喜欢的物品。

基于UserCF 的基本思想相当简单，基于用户对物品的偏好找到相邻邻居用户，然后将 邻居用户喜欢的推荐给当前用户。

计算上，就是将一个用户对所有物品的偏好作为一个向量来计算用户之间的相似度， 找到 K 邻居后，根据邻居的相似度权重以及他们对物品的偏好，预测当前用户没有偏 好的未涉及物品，计算得到一个排序的物品列表作为推荐。

上图给出了一个例子，对于用户 A，根据用户的历史偏好，这里只计算得到一个邻居 – 用户 C，然后将用户 C 喜欢的物品 D 推荐给用户 A。

2.2基于物品的协同过滤算法ItemCF

基于item的协同过滤，通过用户对不同item的评分来评测item之间的相似性，基于 item之间的相似性做出推荐。

简单来讲就是：给用户推荐和他之前喜欢的物品相似的物品。

基于ItemCF 的原理和基于UserCF 类似，只是在计算邻居时采用物品本身，而不是从 用户的角度，即基于用户对物品的偏好找到相似的物品，然后根据用户的历史偏好， 推荐相似的物品给他。

从计算的角度看，就是将所有用户对某个物品的偏好作为一个向量来计算物品之间的 相似度，得到物品的相似物品后，根据用户历史的偏好预测当前用户还没有表示偏好 的物品，计算得到一个排序的物品列表作为推荐。

上图给出了一个例子，对于物品 A，根据所有用户的历史偏好，喜欢物品 A 的用户都 喜欢物品 C，得出物品 A 和物品 C 比较相似，而用户 C 喜欢物品 A，那么可以推断出 用户 C 可能也喜欢物品 C。

2.4基于物品的协同过滤算法实现

分为2个步骤:

1. 计算物品之间的相似度

2. 根据物品的相似度和用户的历史行为给用户生成推荐列表

注：基于物品的协同过滤算法，是目前商用最广泛的推荐算法。

3.案例

3.1介绍

互联网某电影点评网站，主要产品包括 电影介绍，电影排行，网友对电影打分，网友 影评，影讯&购票，用户在看|想看|看过的电影，猜你喜欢(推荐)。

用户在完成注册后，可以浏览网站的各种电影介绍，看电影排行榜，选择自己喜欢的 分类，找到自己想看的电影，并设置为“想看”，同时对自己已经看过的电影写下影 评，并打分。

通过简短的描述，我们可以粗略地看出，这个网站提供个性化推荐电影服务。电影推荐 将成为这个网站的核心功能。

核心点：

– 网站提供所有电影信息，吸引用户浏览

– 网站收集用户行为，包括浏览行为，评分行为，评论行为，从而推测出用户的爱好。

– 网站帮助用户找到，用户还没有看过，并满足他兴趣的电影列表。

– 网站通过海量数据的积累了，预测未来新片的市场影响和票房