spark-RDD-练习

Spark RDD应用综合练习1

（1） 计算并显示每个单词出现的次数（以空格隔开的字符串均被视作“单词”），并查看统计结果中单词“Xiongan”（即中文的“雄安”）出现的次数；

（2） 显示该文件中包含单词“Xiongan”的行，且输出行数；

（3） 该文件中包含单词“Xiongan”的行占总行数的比例；

（4）统计文中空白行出现的次数；

（4） 统计文章的总单词数。

Spark RDD应用综合练习2

（1） 把附件Data01.txt放在~目录下。执行hadoop命令，将该文件拷贝至集群HDFS /目录之下

（2）执行并解释如下语句的功能

//从hdfs文件系统中读取Data01.txt文件，未分片，默认分区为2，文件的每一行作为一条记录

//对每一行进行“，”切分，取第一个单词

//学生姓名去重

//计数

（3） 编写语句，统计该系共开设了多少门课程。

（4）执行并逐条解释下列方框中语句的功能
//读取文件，每行为一个元素

val lines = sc.textFile(“hdfs://localhost:9000/user/hadoop/Data01.txt”)

//过滤找出姓名为Tom的元素，打印输出

val pare = lines.filter(row=>row.split(",")(0)==“Tom”)
pare.foreach(println)

//对每一个元素，保留姓名和转换后的分数，打印输出

val xx1 = pare.map(row=>(row.split(",")(0),row.split(",")(2).toInt))
xx1.foreach(println)

//将value映射成（value，1）元组，打印输出

val xx2 = xx1.mapValues(x=>(x,1))
xx2.foreach(println)

//合并成绩和课程数，打印输出

val xx3 = xx2.reduceByKey((x,y) => (x._1+y._1, x._2+y._2))
xx3.foreach(println)

//求平均分，打印输出后，并打包成数组返回

val xx4 = xx3.mapValues(x => (x._1 / x._2)) xx4.foreach(println)
xx4.collect()

运行结果：

Scala程序编写、打包与提交运行

初始化

建立目录，编写文件

Jar包

运行

总结

1，Spark的惰性机制，转换操作只在于构建GAD，未实施运算，只有动作操作才进行计算

2，通过持久化（缓存）机制避免重复计算的开销，将必要中间结果持久化到内存，
persist()或cache()方法将RDD标记为要保留
清除缓存那么可以使用unpersist()方法

3，sbt 是一个项目构建工具，和maven类似，适合scala项目构建，

参考

（1） http://spark.apache.org/docs/latest/rdd-programming-guide.html#transformations ；
（2） http://dblab.xmu.edu.cn/blog/1312-2/