spark基于物品的推荐_Spark学习笔记——构建基于Spark的推荐引擎

推荐模型

推荐模型的种类分为：

1.基于内容的过滤：基于内容的过滤利用物品的内容或是属性信息以及某些相似度定义,来求出与该物品类似的物品。

2.协同过滤：协同过滤是一种借助众包智慧的途径。它利用大量已有的用户偏好来估计用户对其未接触过的物品的喜好程度。其内在思想是相似度的定义。

在基于用户的方法的中,如果两个用户表现出相似的偏好(即对相同物品的偏好大体相同),那就认为他们的兴趣类似。

同样也可以借助基于物品的方法来做推荐。这种方法通常根据现有用户对物品的偏好或是评级情况,来计算物品之间的某种相似度。

3.矩阵分解：

3.1. 显式矩阵分解

例如我们可以得到多个用户对多部电影的评级的数据，这样我们就可以得到一个用户—电影评级的矩阵。

我们所得到的这个矩阵是稀疏的，假设得到的“用户—物品”矩阵的维度为U×I，我们需要对其进行降维，然后得到一个表示用户的U×k维矩阵和一个表示物品的k×I维矩阵。

要计算给定用户对某个物品的预计评级：

只需要从用户因子矩阵和物品因子矩阵分别选取相应的行(用户因子向量)与列(物品因子向量),然后计算两者的点积即可

而对于物品之间相似度的计算,可以用最近邻模型中用到的相似度衡量方法。不同的是,这里可以直接利用物品因子向量,将相似度计算转换为对两物品因子向量之间相似度的计算

1.使用的是Spark-shell和Scala语言，同样需要把文件放在Hadoop文件系统中

启动Spark-shell

val r