【Spark】Spark实现WordCount功能讲解

一、读取hdfs上的文件作为rdd

hdfs的文件 /user/root/mapreduce/wordcount/input/wc.input 有以下内容

hadoop hive
hive hadoop
hbase sqoop
hbase sqoop
hadoop hive

启动spark-shell

bin/spark-shell

读取hdfs的文件 /user/root/mapreduce/wordcount/input/wc.input；得到的rdd是string类型，每一行都是string字符串；

scala> val linesRdd = sc.textFile("hdfs://hadoop-senior.ibeifeng.com:8020/user/root/mapreduce/wordcount/input/wc.input")
linesRdd: org.apache.spark.rdd.RDD[String] = hdfs://hadoop-senior.ibeifeng.com:8020/user/root/mapreduce/wordcount/input/wc.input MapPartitionsRDD[1] at textFile at <console>:21

二、对RDD[String]进行分割处理和统计

rdd里面都是高阶函数（方法可以接受函数）；

要得到单个的单词字符串，rdd 类型要是 rdd[String]；

1、用map方法对linesRdd进行分割成单词，分割符为空格；得