spark-32.spark机器学习_5_协同过滤算法

协同过滤算法主要用于推荐系统，推荐系统是信息过载所采用的措施，面对海量的数据信息，，从中快速推荐出符合用户特点的物品。一些人的“选择恐惧症”、没有明确需求的人。
解决如何从大量信息中找到自己感兴趣的信息。
解决如何让自己生产的信息脱颖而出，受到大众的喜爱。

1.协同过滤要解决的问题

根据用户已经评分物品，补充用户给物品评分表的空格的评分，供推荐系统使用。

2.要解决的问题

有了相似度的比较，那么比较多少个用户或者物品为好呢？一般会有基于固定大小的邻域以及基于阈值的邻域。具体的数值一般是通过对模型的评比分数进行调整优化。

3.基于用户的CF

for每个其他用户w
  计算用户u和用户w的相似度s
  按相似度排序后，将位置靠前的用户作为邻域n
for (n中用户有偏好，而u中用户无偏好的)每个物品i
  for (n中用户对i有偏好的)每个其他用户v
    计算用户u和用户v的相似度s
    按权重s将v对i的偏好加入平均值

4.基于物品的CF

计算物品相似度

for每个物品i
  for每个其他物品j
for对于i和j均有偏好的每个用户u
  将物品对(i与j)间的偏好值差异加入u的偏好

给用户推荐物品

for用户u未表达过偏好的每个物品i
  for用户u表达过偏好的每个物品j
	找到j与i之间的平均偏好值差异
	添加该差异到u对j偏好值
	添加其至平均值
return 值最高的物品（按平均差异排序）

5.基于LFM思想的矩阵分解-ALS

LFM主要应用在两个方面：一个是用户评分预测，一个是物品隐类Top-N热门排行。
假设用户物品评分矩阵为R，现在又u个用户，i个物品，我们想要发现F个隐类，我们的任务就是找到两个矩阵U和V，使这两个矩阵的乘积近似等于R，即将用户物品评分矩阵R分解成两个低维矩阵相乘。

6.代码实现

1. 创建sparkContext 【spark中对于推荐目前只提供了ALS模型、Word2Wec模型】。
2. 载入训练数据，模型要求数据为RDD[Rating]结构。
3. 训练模型。
4. 通过预测的方法，能够获取某个用户对某个商品的喜爱程度。
5. 关闭sparkContext。

package com.dengdan

import org.apache.spark.mllib.recommendation.{ALS, MatrixFactorizationModel, Rating}
import org.apache.spark.{SparkConf, SparkContext}

/**
 * 基于LFM模型的推荐算法ALS
 */
object Recommendation {
  def main(args: Array[String]): Unit = {
    val sc = new SparkContext(new SparkConf().setMaster("local[*]").setAppName("CollaborativeFiltering"))
    val path = "D:\\idea_workspace2020\\spark\\sparkMLib\\collaborative_filtering\\src\\main\\resources\\test.data"
    val data = sc.textFile(path)
    val ratings = data.map(_.split(",") match { case Array(user, item, rate) =>
      Rating(user.toInt, item.toInt, rate.toDouble)
    })

    //训练模型
    val rank = 50
    val numIterations = 10
    val model = ALS.train(ratings, rank, numIterations, 0.01)

    //准备用户数据
    val usersProducts = ratings.map { case Rating(user, product, rate) => (user, product) }

    //生成推荐结果
    val predictions = model.predict(usersProducts).map { case Rating(user, product, rate) => ((user, product), rate) }

    //对比结果
    val ratesAndPreds = ratings.map { case Rating(user, product, rate) => ((user, product), rate) }.join(predictions)

    //生成均方误差
    val MSE = ratesAndPreds.map { case ((user, product), (r1, r2)) =>
      println(s"【用户】：${user} 【物品】：${product} 【真实值】：${r1} 【预测值】：${r2}")
      val err = r1 - r2
      err * err
    }.mean()
    println(s"预测的均方误差=${MSE}")

    val modelPath = "target/tmp/Recommendation_ALS"
    //保存模型
    model.save(sc, modelPath)
    //重新加载模型
    val sameModel = MatrixFactorizationModel.load(sc, modelPath)

    sc.stop()
  }
}