SparkMLlib---基于余弦相似度的用户相似计算

package mllib import org.apache.log4j.{Level, Logger} import org.apache.spark.{SparkContext, SparkConf} import scala.collection.mutable.Map /** * Created by 汪本成 on 2016/8/4. */ object UserSimilar { //屏蔽不必要的日志显示在终端上 Logger.getLogger("org.apache.spark").setLevel(Level.WARN) Logger.getLogger("org.apache.eclipse.jetty.server").setLevel(Level.OFF) //程序入口 val conf = new SparkConf().setMaster("local[1]").setAppName(this.getClass().getSimpleName().filter(!_.equals('$'))) println(this.getClass().getSimpleName().filter(!_.equals('$'))) val sc = new SparkContext(conf) //设置用户名 val users = sc.parallelize(Array("张三", "李四", "王五", "赵六", "阿七")) //设置电影名 val films = sc.parallelize(Array("逆战", "人间", "鬼屋", "西游记", "雪豹")) //使用一个source嵌套map