Spark Shell
下载完spark安装包,解压后进去bin目录,运行./spark-shell即可打开scala版本的Spark Shell。
书上或者网上举得的例子都是如图:
接下来介绍一些简单的spark shell函数
(1)flatMap,collect
flatMap把每一行进行指定操作返回对象,然后把返回的所有对象合并成一个对象
(2)map,collect
map把每一行输入进行指定操作,每一条输入返回一个对象。flatMap比map多一步,就是最后会把所有的对象合并成一个对象。
(3)reduceByKey累加单词数