1.1 数据输入模型
1)用户数据输入数据格式:
用户ID,物品ID,点击次数。
2)相似矩阵输入数据格式:
物品ID,物品ID,相似度
1.2 物品相似矩阵
采用SparkContext读取物品的相似矩阵:
//2 sc 读取相似矩阵
valsimi_path1 ="hdfs://192.168.180.100:9000/data/simi/simi.txt"
valsimi_rdd1 =sc.textFile(simi_path1,10)
valsimi_rdd2 =simi_rdd1.map(line => {
valfileds = line.split(",")
(fileds(0),fileds(1),fileds(2).toDouble)
})
simi_rdd2.cache()
1.3 用户实时评分计算
采用Spark Streaming实时计算用户的评分数据:
//3 构建Streaming对象
valssc =new StreamingContext(sc,batchDuration)
ssc.checkpoin