第51讲:Scala中链式调用风格的实现代码实战及其在Spark编程中的广泛运用学习笔记
scala中链式调用风格的实现代码及在spark中的应用。
sc.textFile("hdfs://...").flatMap(_.split(" ")).map(_, 1).reduceByKey(_ + _).map(x=>(x._2,x._1)).sortByKey(false).map(x => (x._2,x_1)).saveAsTextFile("hdfs://...")
sc:sparkContext;
textFile("hdfs://...")获得分布式文件系统上的数据
flatMap对读取的每一行数据以空格为界进行split后再把小集合变成大集合;
map(_,1)