- 博客(0)
- 资源 (1)
- 收藏
- 关注
spark集群安装
3.2.2.在spark shell中编写WordCount程序
1.首先启动hdfs
2.向hdfs上传一个文件到hdfs://hdp-01:9000/wordcount/input/a.txt
3.在spark shell中用scala语言编写spark程序
scala> sc.textFile("hdfs://hdp-01:9000/wordcount/input/")
spark是懒加载的,所以这里并没有真正执行任务。可使用collect方法快速查看数据。
lazy执行的,只有调用了action方法,才正式开始运行。
scala>sc.textFile("hdfs://hdp-01:9000/wordcount/input/").flatMap(_.split(" ")).map((_,1)).reduceByKey(_ + _).sortBy(_._2,false).collect
注意:这些flatMap,map等方法是R
2018-12-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人