Spark实操------ wordcount实现

1. 创建文件：

在Linux文件夹下，进如要文件的目录：输入vi test.txt

按i输入 文本内容，输入完毕按esc，按:wq 保存退出

然后在命令行执行下面的命令：

hadoop fs –mkdir –p /Hadoop/Input （在HDFS创建目录）

hadoop fs –put test.txt /Hadoop/Input （将test.txt文件上传到HDFS）

hadoop fs –ls /Hadoop/Input   （查看上传的文件）

hadoop fs –text /Hadoop/Input/test.txt （查看文件的内容）

启动spark

spark-shell

输入下面的语句：

val file=sc.textFile(“/Hadoop/Input/test.txt”)

val rdd = file.flatMap(line => line.split(“ ”)).map(word => (word,1)).reduceByKey(_+_)

val maps = rdd.collect()

for (i <- 0 to maps.length-1) {

println(maps(i))

}