RDD编程初级实践

实验目的

（1）熟悉Spark的RDD基本操作及键值对操作；
（2）熟悉使用RDD编程解决实际具体问题的方法。

实验平台

操作系统：Ubuntu16.04
Spark版本：2.4.0
Python版本：3.4.3

实验内容与要求

一、pyspark交互式编程

本次实验提供数据data.txt,该数据集包含了某大学计算机系的成绩，数据如下所示：

Tom,DataBase,80
Tom,Algorithm,50
Tom,DataStructure,60
Jim,DataBase,90
Jim,Algorithm,60
Jim,DataStructure,80
……

根据给定的实验数据，在pyspark中通过编程来计算以下内容：
首先将文件data.txt.(提取码: i99s)放在数据路径下(本实验是放在usr/local/spark/data下)

（1）该系总共有多少学生
实现代码：

lines = sc.textFile("file:///usr/local/spark/data/data.txt")
res = lines.map(lambda x:x.split(",")).map(lambda x:x[0])
sum = res.distinct()
sum.count()

实现过程及结果：

（2）该系共开设了多少门课程
实现代码：

lines = sc.textFile("file:///usr/local/spark/data/data.txt")
res = lines.map(lambda x:x.split(",")).map(lambda x:x[1])
sum = res.distinct()
sum.count()

实现过程及结果：

（3）Tom同学的总成绩平均分是多少
实现代码：

lines = sc.textFile("file:///usr/local/spark/sparksqldata/data.txt")
res = lines.map(lambda x:x.split(",")).filter(lambda x:x[0] == 'Tom')
score = res.map(lambda x:int(x[2]))
sum_score = score.reduce(lambda x,y:x+y)
num = res.count()
avg =