1.通过textFile读取文件
sc.textFile("E:\\spark-2.1.0\\spark-2.1.0\\README.md")
2.通过flatMap、split分隔单词
flatMap(_.split(" "))
3.通过map使一元元素变成二元元素
map((_,1))
4.通过groupBykey分类
val group = sc.textFile("E:\\spark-2.1.0\\spark-2.1.0\\README.md")
.flatMap(_.split(" ")).map((_,1)).groupByKey()
val groupcl = group.collect()
println(groupcl) // [Lscala.Tuple2;@78d2b5cf
groupcl.foreach(println)
val group = sc.textFile("E:\\spark-2.1.0\\spark-2.1.0\\README.md")
.flatMap(_.split(" ")).map((_,1)).groupByKey()
val groupcl = group.collect()
println(groupcl) // [Lscala.Tuple2;@78d2b5cf
groupcl.foreach(println)
结果为:
5.注意
输出groupcl结果为:[Lscala.Tuple2;@78d2b5cf,要想输出想要的根据groupByKey的结果需要使用groupcl.foreach(println)输出。