使用spark求共同好友:
在做一些项目时,又时可能遇到一些类似与求共同好友的要求,可以根据共同好友进行推荐添加好友,就比如说A和B的好友有M,K,O,L,那么有可能A和B就是也认识,所以可以把B推荐给A,下面是用Spark求共同好友的实现
数据格式如下
A:B,D,E,H,I,O
B:A,C,E,K
C:F,A,D,I
D:A,E,F,L
E:B,C,D,M,L
F:B,C,D,E,O,M
import org.apache.spark.rdd.RDD
import org.apache.spark.{
SparkConf, SparkContext}
object CommFriend {
def main(args: Array[String]): Unit = {
var Array(inputPath,outputPath) = args
inputPath = "D:\\tools\\qianfeng\\hadoop\\Mapreduce\\day09Mapreduce\\fr.txt"
val conf = new SparkConf().setAppName(s"${this.getClass.getName}").setMaster("local")
val sc