章节测验---4

第1关：第一题

任务描述

本关任务：根据编程要求，完成任务。

编程要求

打开右侧代码文件窗口，在 Begin 至 End 区域补充代码，完成任务。

在本地目录 /data/bigfiles 中有两个文件 a.txt 与 b.txt，现在需要对这两个文件进行合并，并剔除其中重复的内容，将合并结果存储到 /root/result/ 目录下。

from pyspark import SparkContext
################ Begin ################
# 创建SparkContext对象
sc = SparkContext('local','remdup')
# 加载两个文件
lines1 = sc.textFile("file:///data/bigfiles/a.txt")
lines2 = sc.textFile("file:///data/bigfiles/b.txt")
# 合并两个文件的内容
lines = lines1.union(lines2)
# 去重操作
distinct_lines = lines.distinct() 
# 排序操作
res = distinct_lines.sortBy(lambda x:x)
# 保存结果
res.repartition(1).saveAsTextFile("file:///root/result")
# 关闭SparkContext对象
sc.stop()
################ End ################

第2关：第二题

任务描述

本关任务：根据编程要求，完成任务。

编程要求

打开右侧代码文件窗口，在 Begin 至 End 区域补充代码，完成任务。

在本地目录 /data/bigfiles 中有三个文件 Algorithm.txt、Database.txt 和 Python.txt。其中每行存储的内容由两个字段组成，第一个是学生名字，第二个是学生的成绩。

from pyspark import SparkContext
################ Begin ################
# 创建SparkContext对象
sc = SparkContext("local", "avgscore")
# 加载三个文件
lines1 = sc.textFile("file:///data/bigfiles/Algorithm.txt")
lines2 = sc.textFile("file:///data/bigfiles/Database.txt")
lines3 = sc.textFile("file:///data/bigfiles/Python.txt")
# 合并三个文件的内容
lines = lines1.union(lines2).union(lines3)
# 完成数据聚合
data = lines.map(lambda x:x.split(" ")).map(lambda x:(x[0],(int(x[1]),1)))
res = data.reduceByKey(lambda x,y:(x[0]+y[0],x[1]+y[1]))
# 求平均分并排序
result = res.map(lambda x:(x[0],round(x[1][0]/x[1][1],2))).sortBy(lambda x: x[1], ascending=False)
# 保存结果
result.repartition(1).saveAsTextFile("file:///root/result2")
# 关闭SparkContext对象
sc.stop()
################ End ################