mahout推荐引擎简介

Mahout 简单使用经验mahout项目介绍

推荐引擎利用特殊的信息过滤技术，将不同的内容（例如电影、音乐、书籍、新闻、图片、网页等）推荐给可能感兴趣的用户。通常情况下，推荐引擎的实现是通过将用户的个人喜好与特定的参考特征进行比较，并试图预测用户对一些未评分项目的喜好程度。参考特征的选取可能是从项目本身的信息中提取的，或是基于用户所在的社会或社团环境。

 

常用的推荐的方式主要有两种：

• 基于用户的推荐：通过查找相似的用户来推荐项目。由于用户的动态特性，这通常难以定量。

这句话的理解可以用一个简单的例子来说明，假如说这里的项目指的是各种书籍，那么推荐程序可以根据一个用户对所关注的书籍的各种属性做一个分析，分析出此用户到底喜欢如何类型的书籍，比如说是关于历史的，通过对这种喜好的分析，程序就可以找到与该用户有相同喜好的用户，即也同样喜欢历史类书籍的用户，假如找到的用户不光喜欢历史类的书籍，并且喜欢科技类的书籍，那么程序会尝试将该类书籍推荐给这个用户。

当然程序的分析可能比这要复杂得多，但是可以这样简单的来理解。

 

• 基于项目的推荐：计算项目之间的相似度并做出推荐。项目通常不会过多更改，因此这通常可以离线完成。

同样这里的项目我们可以理解为书籍，项目间的相似度可能通过多种属性对比而来，比如说书籍的分类，价格，作者等等相关属性。根据此类属性来找出与该书类似的书籍，来直接推荐给用户。这里如果项目的信息量比较大会影响在线推荐的执行效率，因为项目一般变动周期可能不会十分频繁，切参数的更换也不会非常频繁，所以项目之间的相似度可以周期性的计算并存储，然后供推荐程序调用，来提高推荐程序的运行效率。

 

什么是协同过滤

协同过滤是利用集体智慧的一个典型方法。要理解什么是协同过滤 (Collaborative Filtering, 简称 CF)，首先想一个简单的问题，如果你现在想看个电影，但你不知道具体看哪部，你会怎么做？大部分的人会问问周围的朋友，看看最近有什么好看的电影推荐，而我们一般更倾向于从口味比较类似的朋友那里得到推荐。这就是协同过滤的核心思想。

协同过滤一般是在海量的用户中发掘出一小部分和你品位比较类似的，在协同过滤中，这些用户成为邻居，然后根据他们喜欢的其他东西组织成一个排序的目录作为推荐给你。当然其中有一个核心的问题：

• 如何确定一个用户是不是和你有相似的品位？
• 如何将邻居们的喜好组织成一个排序的目录？

协同过滤相对于集体智慧而言，它从一定程度上保留了个体的特征，就是你的品位偏好，所以它更多可以作为个性化推荐的算法思想。可以想象，这种推荐策略在 Web 2.0 的长尾中是很重要的，将大众流行的东西推荐给长尾中的人怎么可能得到好的效果，这也回到推荐系统的一个核心问题：了解你的用户，然后才能给出更好的推荐。

深入协同过滤的核心

前面作为背景知识，介绍了集体智慧和协同过滤的基本思想，这一节我们将深入分析协同过滤的原理，介绍基于协同过滤思想的多种推荐机制，优缺点和实用场景。

首先，要实现协同过滤，需要一下几个步骤

• 收集用户偏好
• 找到相似的用户或物品
• 计算推荐

收集用户偏好

要从用户的行为和偏好中发现规律，并基于此给予推荐，如何收集用户的偏好信息成为系统推荐效果最基础的决定因素。用户有很多方式向系统提供自己的偏好信息，而且不同的应用也可能大不相同，下面举例进行介绍：

表 1 用户行为和用户偏好
用户行为类型特征作用 评分显式 
整数量化的偏好，可能的取值是 [0, n]；n 一般取值为 5 或者是 10通过用户对物品的评分，可以精确的得到用户的偏好投票显式布尔量化的偏好，取值是 0 或 1通过用户对物品的投票，可以较精确的得到用户的偏好转发显式布尔量化的偏好，取值是 0 或 1通过用户对物品的投票，可以精确的得到用户的偏好。
如果是站内，同时可以推理得到被转发人的偏好（不精确）保存书签显示布尔量化的偏好，取值是 0 或 1通过用户对物品的投票，可以精确的得到用户的偏好。标记标签 
(Tag)显示一些单词，需要对单词进行分析，得到偏好通过分析用户的标签，可以得到用户对项目的理解，同时可以分析出用户的情感：喜欢还是讨厌评论显示一段文字，需要进行文本分析，得到偏好通过分析用户的评论，可以得到用户的情感：喜欢还是讨厌点击流 
( 查看 )隐式一组用户的点击，用户对物品感兴趣，需要进行分析，得到偏好用户的点击一定程度上反映了用户的注意力，所以它也可以从一定程度上反映用户的喜好。页面停留时间隐式一组时间信息，噪音大，需要进行去噪，分析，得到偏好用户的页面停留时间一定程度上反映了用户的注意力和喜好，但噪音偏大，不好利用。购买隐式布尔量化的偏好，取值是 0 或 1用户的购买是很明确的说明这个项目它感兴趣。

以上列举的用户行为都是比较通用的，推荐引擎设计人员可以根据自己应用的特点添加特殊的用户行为，并用他们表示用户对物品的喜好。

在一般应用中，我们提取的用户行为一般都多于一种，关于如何组合这些不同的用户行为，基本上有以下两种方式：

• 将不同的行为分组：一般可以分为“查看”和“购买”等等，然后基于不同的行为，计算不同的用户 / 物品相似度。类似于当当网或者 Amazon 给出的“购买了该图书的人还购买了 ...”，“查看了图书的人还查看了 ...”
• 根据不同行为反映用户喜好的程度将它们进行加权，得到用户对于物品的总体喜好。一般来说，显式的用户反馈比隐式的权值大，但比较稀疏，毕竟进行显示反馈的用户是少数；同时相对于“查看”，“购买”行为反映用户喜好的程度更大，但这也因应用而异。

收集了用户行为数据，我们还需要对数据进行一定的预处理，其中最核心的工作就是：减噪和归一化。

• 减噪：用户行为数据是用户在使用应用过程中产生的，它可能存在大量的噪音和用户的误操作，我们可以通过经典的数据挖掘算法过滤掉行为数据中的噪音，这样可以是我们的分析更加精确。
• 归一化：如前面讲到的，在计算用户对物品的喜好程度时，可能需要对不同的行为数据进行加权。但可以想象，不同行为的数据取值可能相差很大，比如，用户的查看数据必然比购买数据大的多，如何将各个行为的数据统一在一个相同的取值范围中，从而使得加权求和得到的总体喜好更加精确，就需要我们进行归一化处理。最简单的归一化处理，就是将各类数据除以此类中的最大值，以保证归一化后的数据取值在 [0,1] 范围中。

进行的预处理后，根据不同应用的行为分析方法，可以选择分组或者加权处理，之后我们可以得到一个用户偏好的二维矩阵，一维是用户列表，另一维是物品列表，值是用户对物品的偏好，一般是 [0,1] 或者 [-1, 1] 的浮点数值。

找到相似的用户或物品

当已经对用户行为进行分析得到用户喜好后，我们可以根据用户喜好计算相似用户和物品，然后基于相似用户或者物品进行推荐，这就是最典型的 CF 的两个分支：基于用户的 CF 和基于物品的 CF。这两种方法都需要计算相似度