2021-06-09

spark编程基础（python版）

一、实验目的
（1）熟悉Spark的RDD基本操作及添加链接描述键值对操作；
（2）熟悉使用RDD编程解决实际具体问题的方法。

二、实验平台
操作系统：Ubuntu16.04
Spark版本：2.1.0
Python版本：3.5

三、实验内容和要求
1．pyspark交互式编程
请到文末下载压缩包，该数据集包含了某大学计算机系的成绩，数据格式如下所示：
Tom,DataBase,80
Tom,Algorithm,50
Tom,DataStructure,60
Jim,DataBase,90
Jim,Algorithm,60
Jim,DataStructure,80
……
请根据给定的实验数据，在pyspark中通过编程来计算以下内容：
【参考答案】
在下载目录下把data01.txt移动到/usr/local/spark/sparksqldata 目录下
Sudo cp data01.txt /usr/local/spark/sparksqldata

该系总共有多少学生；

Lines = sc.textFile(“file:///usr/local/spark/sparksqldata/data01.txt”)
Res = lines.map(lambda x:x.split(“,”)).map(lambda x:x[0])
Sum = res.distinct()
Sum.count()

（1）该系共开设了多少门课程；

Lines = sc.textFile(“file:///usr/local/spark/sparksqldata/data01.txt”)
Res = lines.map(lambda x:x.split(“,”)).map(lambda x:x[1])
Dis_res = res.distinct()
Dis_res.count()

结果显示：
（2）Tom同学的总成绩平均分是多少；

Lines = sc.textFile(“file:///usr/local/spark/sparksqldata/data01.txt”)
Res = lines,map(lambda x:x.split(“,”)).filter(lambda x:x[0]==’Tom’)
Res.foreach(print)

结果显示：

Tom同学的平均分为
结果显示：

（3）求每名同学的选修的课程门数；

Lines = sc.textFile(“file:///usr/local/spark/sparksqldata/data01.txt”)
Res = lines.map(lambda x:x.split(“,”)).map(lambda x:(x[0],1))
Each_res = res.reduceByKey(lambda x,y:x+y)
Each_res.foreach(print)

结果显示：

（4）该系DataBase课程共有多少人选修；

Lines = sc.textFile(“file:///usr/local/spark/sparksqldata/data01.txt”)
Res =lines.map(lambda x:x.split(“,”)).filter(lambda x:x[1]==’DataBase’)
Res.count()

结果显示：

（5）各门课程的平均分是多少；

Lines = sc.textFile(“file:///usr/local/spark/sparksqldata/data01.txt”)
Res = lines.map(lambda x:x.split(“,”)).map(lambda x:(x[1],(int(x[2]),1)))
Temp = res.reduceByKey(lambda x,y:(x[0]+y[0],x[1]+y[1]))
Avg = temp.map(lambda x:(x[0],round(x[1][0]/x[1][1],2)))
Avg.foreach(print)

结果显示：

（6）使用累加器计算共有多少人选了DataBase这门课。

Lines = sc.textFile(“file:///usr/local/spark/sparksqldata/data01.txt”)
Res = lines.map(lambda x:x.split(“,”)).filter(lambda x:x[1] == ”DataBase”)
Accum = sc.accumulator(0)
Res.foreach(lambda x:accum.add(1))
Accum.value

结果显示：

2.编写独立应用程序实现数据去重
对于两个输入文件A和B，编写Spark独立应用程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新文件C。下面是输入文件和输出文件的一个样例，供参考。
输入文件A的样例如下：
20170101 x
20170102 y
20170103 x
20170104 y
20170105 z
20170106 z
输入文件B的样例如下：
20170101 y
20170102 y
20170103 x
20170104 z
20170105 y
根据输入的文件A和B合并得到的输出文件C的样例如下：
20170101 x
20170101 y
20170102 y
20170103 x
20170104 y
20170104 z
20170105 y
20170105 z
20170106 z

实验答案参考步骤如下：
（1）假设当前目录为/usr/local/spark/mycode/remdup，在当前目录下新建一个remdup.py文件

from pyspark import SparkContext
#初始化SparkContext
sc = SparkContext(‘local’,‘remdup’)
#加载两个文件A和B
lines1 = sc.textFile(“file:///usr/local/spark/mycode/remdup/A”)
lines2 = sc.textFile(“file:///usr/local/spark/mycode/remdup/B”)
#合并两个文件的内容
lines = lines1.union(lines2)
#去重操作
distinct_lines = lines.distinct()
#排序操作
res = distinct_lines.sortBy(lambda x:x)
#将结果写入result文件中，repartition(1)的作用是让结果合并到一个文件中，不加的话会结果写入到两个文件
res.repartition(1).saveAsTextFile(“file:///usr/local/spark/mycode/remdup/result”)

在remdup目录这里不用手动去创建result文件夹，在程序中会生成，否则会报错。

（2）最后在目录/usr/local/spark/mycode/remdup下执行下面命令执行程序（注意执行程序时请先退出pyspark shell，否则会出现“地址已在使用”的警告）；

（3）在目录/usr/local/spark/mycode/remdup/result下即可得到结果文件part-00000。

结果显示

3.编写独立应用程序实现求平均值问题
每个输入文件表示班级学生某个学科的成绩，每行内容由两个字段组成，第一个是学生名字，第二个是学生的成绩；编写Spark独立应用程序求出所有学生的平均成绩，并输出到一个新文件中。下面是输入文件和输出文件的一个样例，供参考。
Algorithm成绩：
小明 92
小红 87
小新 82
小丽 90
Database成绩：
小明 95
小红 81
小新 89
小丽 85
Python成绩：
小明 82
小红 83
小新 94
小丽 91
平均成绩如下：
(小红,83.67)
(小新,88.33)
(小明,89.67)
(小丽,88.67)

实验答案参考步骤如下：
（1）假设当前目录为/usr/local/spark/mycode/avgscore，在当前目录下新建一个avgscore.py；

from pyspark import SparkContext
sc = SparkContext("local","avgscore")
lines1 = sc.textFile("file:///usr/local/spark/mycode/avgscore/Algorithm.txt")
lines2 = sc.textFile("file:///usr/local/spark/mycode/avgscore/Database.txt")
lines3 = sc.textFile("file:///usr/local/spark/mycode/avgscore/Python.txt")
lines = lines1.union(lines2).union(lines3)
data = lines.map(lambda x:x.split(",")).map(lambda x:(x[0],(int(x[1]),1)))

res = data.reduceByKey(lambda x,y:(x[0]+y[0],x[1]+y[1]))

result = res.map(lambda x:(x[0],round(x[1][0]/x[1][1],2)))
result.repartition(1).saveAsTextFile("file:///usr/local/spark/mycode/avgscore/result")

在avgscore目录下不用手动去创建result文件夹，在程序中会生成，否则会报错
（2）最后在目录/usr/local/spark/mycode/avgscore下执行下面命令执行程序（注意执行程序时请先退出pyspark shell，否则会出现“地址已在使用”的警告）。

（3）在目录/usr/local/spark/mycode/avgscore/result下即可得到结果文件part-00000。

结果显示

最后贴上需要用到数据文件链接: https://pan.baidu.com/s/1Fo0nFaMjKtQsILm73kuM5A 提取码: rvm6 复制这段内容后打开百度网盘手机App，操作更方便哦

参考博主文章：https://blog.csdn.net/Python_Apple/article/details/115449055