linux中用spark进行单词数统计--wordCount例子操作详解【scala版】
这是命令行的简单操作案例,借用spark里面的API:flatMap、reduceByKey来实现,步骤如下:
1)启动spark shell:
./spark-shell --master local[2]
注:spark shell 是spark自带的一个快速开发工具,在spark目录下bin目录里面
2)读入需要处理的单词文件
val file = sc.textFile("fil...
原创
2018-05-13 16:19:11 ·
2216 阅读 ·
0 评论