实验目的
(1)熟悉Spark的RDD基本操作及键值对操作;
(2)熟悉使用RDD编程解决实际具体问题的方法。
实验平台
操作系统:Ubuntu16.04
Spark版本:2.4.0
Python版本:3.4.3
实验内容与要求
一、pyspark交互式编程
本次实验提供分析数据data.txt,该数据集包含了某大学计算机系的成绩,数据格式如下所示:
Tom,DataBase,80
Tom,Algorithm,50
Tom,DataStructure,60
Jim,DataBase,90
Jim,Algorithm,60
Jim,DataStructure,80
……
首先将文件chapter4-data.txt.(提取码: i99s)放在数据路径下(本实验是放在usr/local/spark/mycode下)
(1)该系总共有多少学生;
实现代码:
lines = sc.textFile("file:///usr/local/spark/sparkdata/data.txt")
res = lines.map(lambda x:x.split(",")).map(lambda x:x[0])
sum = res.distinct()
sum.count()
实现过程及结果:
(2)该系共开设了多少门课程;
实现代码:
lines = sc.textFile("file:///usr/local/spark/sparkdata/data.txt")
res = lines.map(lambda x:x.split(",")).map(lambda x:x[1])
sum = res.distinct()
sum.count()
实现过程及结果:
(3)Tom同学的总成绩平均分是多少;
实现代码:
lines = sc.textFile("file:///usr/local/spark/sparkdata/data.txt")
res = lines.map(lambda x:x.split(",")).