RDD编程初级实践

RDD编程初级实践

一、需求分析

本次实验需要统计：总共有多少学生；开设了多少门课程；Tom同学的总成绩平均分；每名同学的选修的课程门数；DataBase课程选修人数；门课程的平均分；选了DataBase这门课的人数；对于两个输入进行合并，并剔除其中重复的内容，得到一个新文件C；对于三个文件中求出所有学生的平均成绩，并输出到一个新文件中。

二、环境介绍

操作系统：Ubuntu16.04
Spark版本：2.4.0
Python版本：3.4.3

三、数据来源描述

提供分析的数据文件一共有A.txt、Algorithm.txt、B.txt、data.txt、Database.txt、Python.txt。这些都是由某大学计算机系提供的，有各名学生的选修课程和课程分数。
data.txt里面分别是姓名，课程名，分数。数据格式如下所示：

Aaron,Python,50
Aaron,ComputerNetwork,30
Aaron,Software,94
Abbott,DataBase,18
Abbott,Python,82

A.txt和B.txt每行内容由两个字段组成，第一个是数字，第二个是x或y。数据格式如下所示：

20200102	y
20200103	x
20200104