package mllib import org.apache.log4j.{Level, Logger} import org.apache.spark.{SparkContext, SparkConf} import scala.collection.mutable.Map /** * Created by 汪本成 on 2016/8/4. */ object UserSimilar { //屏蔽不必要的日志显示在终端上 Logger.getLogger("org.apache.spark").setLevel(Level.WARN) Logger.getLogger("org.apache.eclipse.jetty.server").setLevel(Level.OFF) //程序入口 val conf = new SparkConf().setMaster("local[1]").setAppName(this.getClass().getSimpleName().filter(!_.equals('$'))) println(this.getClass().getSimpleName().filter(!_.equals('$'))) val sc = new SparkContext(conf) //设置用户名 val users = sc.parallelize(Array("张三", "李四", "王五", "赵六", "阿七")) //设置电影名 val films = sc.parallelize(Array("逆战", "人间", "鬼屋", "西游记", "雪豹")) //使用一个source嵌套map |
SparkMLlib---基于余弦相似度的用户相似计算
最新推荐文章于 2024-08-14 18:40:11 发布
本文介绍了如何使用SparkMLlib库进行基于余弦相似度的用户相似性计算。通过余弦相似度,可以衡量两个用户兴趣的相似程度,为推荐系统或其他用户行为分析提供关键数据支持。
摘要由CSDN通过智能技术生成