(一)pyspark交互式编程
实验内容:
(1)该系总共有多少学生;
(2)该系共开设了多少门课程;
(3)Tom同学的总成绩平均分是多少;
(4)求每名同学的选修的课程门数;
(5)该系DataBase课程共有多少人选修;
(6)各门课程的平均分是多少;
(7)使用累加器计算共有多少人选了DataBase这门课。
实验步骤及结果展示:
(1)该系总共有多少学生;
1.创建rdd
2.拆分每行记录,取出每行的第一个元素
3.去除记录中的重复记录
4.统计所有非重记录
(2)该系共开设了多少门课程;
1.创建rdd
2.拆分每行记录,取出每行的第二个元素
3.去除记录中的重复记录
4.统计所有非重记录