Spark MLlib中ALS交替最小二乘法推荐算法的使用

本文首发于我的个人博客QIMING.INFO,转载请带上链接及署名。

ALS(Alternating Least Square),交替最小二乘法。在机器学习中,特指使用最小二乘法的一种协同推荐算法。本文通过代码来演示用spark运行ALS算法的一个小例子。

算法简介

ALS算法通过观察到的所有用户给商品的打分,来推断每个用户的喜好并向用户推荐适合的商品。

其原理简单说就是假设用户评分矩阵是用户特征矩阵乘以物品特征矩阵得到的,即:A(m*n)=U(m*k)*V(k*n),然后得到一个评分矩阵。具体原理请自行查阅,本文主要为使用。

通常,调用ALS算法进行训练时有4个重要参数,分别是ratingsrankiterations,和lambda

  • ratings指用户提供的训练数据,它包括用户id集、商品id集以及相应的打分集;
  • rank表示隐含因素的数量,即特征的数量,也就是分解矩阵的k值。
  • iterations表示最大迭代次数;
  • lambda表示正则因子,可省略,默认为0.01。

运行步骤

数据说明

数据格式为:用户id,物品id,评分

[xuqm@cu01 ML_Data]$ cat input/test.data 
1,1,5.0
1,2,1.0
1,3,5.0
1,4,1.0
2,1,5.0
2,2,1.0
2,3,5.0
2,4,1.0
3,1,1.0
3,2,5.0
3,3,1.0
3,4,5.0
4,1,1.0
4,2,5.0
4,3,1.0
4,4,5.0

代码及说明


package nwpuhpc.antirisk.ml

import org.apache.log4j.{Level, Logger}
import org.apache.spark.mllib.recommendation.{ALS, Rating}
import org.apache.spark.{SparkConf, SparkContext}

object ALSTest {

  // 构建Spark对象
  val conf = new SparkConf().setAppName("ALSTest")
  val sc = new SparkContext(conf)
  Logger.getRootLogger.setLevel(Level.WARN)

  // 读取样本数据
  val data = sc.textFile("/home/xuqm/ML_Data/input/test.data")
  val ratings = data.map(_.split(',') match {
    case Array(user, item, rate) =>
      Rating(user.toInt, item.toInt, rate.toDouble)
  })

  // 拆分成训练集和测试集
  val dataParts = ratings.randomSplit(Array(0.8, 0.2))
  val trainingRDD = dataParts(0).cache()
  val testRDD = dataParts(1)

  // 建立ALS交替最小二乘算法模型并训练
  val rank = 10
  val numIterations = 20
  val model = ALS.train(trainingRDD, rank, numIterations, 0.01)

  // 取出测试集中的用户id和商品id
  val usersProducts = testRDD.map {
    case Rating(user, product, rate) =>
      (user, product)
  }

  // 用训练好的模型预测测试集的结果
  val predictions = model.predict(usersProducts).map {
    case Rating(user, product, rate) =>
      ((user, product), rate)
  }

  val ratesAndPreds = testRDD.map {
    case Rating(user, product, rate) =>
      ((user, product), rate)
  }.join(predictions)

  // 输出误差
  val MSE = ratesAndPreds.map {
    case ((user, product), (r1, r2)) =>
      val err = (r1 - r2)
      err * err
  }.mean()
  println("Mean Squared Error = " + MSE)

  // 打印输出预测值
  println("User" + "\t" + "Products" + "\t" + "Rate" + "\t" + "Prediction")
  ratesAndPreds.collect.foreach(
    rating => {
      println(rating._1._1 + "\t" + rating._1._2 + "\t" + rating._2._1 + "\t" + rating._2._2)
    }
  )

}

结果展示

可以看出,误差不是很大。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值