RDD编程初级实践
RDD编程初级实践
实验目的
(1)熟悉Spark的RDD基本操作及键值对操作;
(2)熟悉Spark的RDD编程解决实际问题的方法;
实验平台
操作系统:Ubuntu16.04
Spark版本:2.4.8
Hadoop:3.3.0
Python:3.5.1
实验内容
pyspark交互式编程
本作业提供分析数据data.txt,该数据包含了某大学计算机系的成绩。数据如下所示:
Tom,DataBase,80
Tom,Algorithm,50
Tom,DataStructure,60
Jim,DataBase,90
Jim,Algorithm,60
Jim,DataStructure,80
......
请根据给定的实验数据,在pyspark中通过编程来及时一下内容:
该系总共有多少学生?
代码:
lines = sc.textFile("file:///usr/local/spark/data/data.txt")
//获取每行数据第一列
res = lines.map(lambda x:x.split(",")).map(lambda x: x[0])
//去重
distinct_res = res.distinct()
//统计
distinct_res.count()
该系共开设有多少课程?
代码:
lines = sc.textFile("file:///usr/local/spark/data/data.txt")
//获取每行数据的第2列
res = lines.map(lambda x:x.split(",")).map(lambda x:x[1])
//去重操作
distinct_res = res.distinct()
//取元素总个数
distinct_res.count()
Tom同学的总成绩平均分是多少?
lines = sc.textFile("file:///usr/local/spark/data/data.txt")
//筛选Tom同学的成绩信息
res &