6.Spark的wordCount原理解析

针对以下wordCount的实现原理以画图的方式进行分析

代码

 def main(args: Array[String]): Unit = {
    //配置基本信息
    val conf = new SparkConf().setAppName("wordCount").setMaster("local")
    //程序入口
    val sc = new SparkContext(conf)
    //文件路径
    val input_path = "C:\\Users\\Desktop\\text\\The_Man_of_Property.txt";

    val result = sc.textFile(input_path)//读取文件
                  .flatMap(x => x.split(" "))//对单词按照空格分词
                  .map(x => (x,1))//对单词进行标记次数
                  .reduceByKey(_ + _)//根据单词为key进行次数累加
    result.foreach(println)//数据打印
  }

图解