1.pyspark交互式编程
本作业提供分析数据data.txt,该数据集包含了某大学计算机系的成绩,数据格式如下所示:
Tom,DataBase,80 Tom,Algorithm,50 Tom,DataStructure,60 Jim,DataBase,90 Jim,Algorithm,60 Jim,DataStructure,80 …… |
请根据给定的实验数据,在pyspark中通过编程来计算以下内容:
- 该系总共有多少学生;
1.创建RDD
2.拆分每行记录,取出每行的第一个元素
3.去除文件中的重复记录
4.统计所有会重复记录。
2.该系共开设了多少门课程;
1.创建RDD
2.拆分每行记录,取出每行的第一个元素
3.去除文件中的重复记录
4.统计所有会重复记录。
3.Tom同学的总成绩平均分是多少;