RDD编程初级实践

1.需求描述

本次“RDD编程初级实践”实验分为三个部分：pyspark交互式编程、编写独立应用程序实现数据去重以及编写独立应用程序实现求平均值问题。

pyspark交互式编程：需要分析数据data.txt，该数据集包含了某大学计算机系的成绩，并据给定的实验数据，在pyspark中通过编程来计算以下内容：

（1）该系总共有多少学生；

（2）该系共开设了多少门课程；

（3）Tom同学的总成绩平均分是多少；

（4）求每名同学的选修的课程门数；

（5）该系DataBase课程共有多少人选修；

（6）各门课程的平均分是多少；

（7）使用累加器计算共有多少人选了DataBase这门课

    编写独立应用程序实现数据去重：对于两个输入文件A和B，编写Spark独立应用程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新文件C。

   编写独立应用程序实现求平均值问题：每个输入文件表示班级学生某个学科的成绩，每行内容由两个字段组成，第一个是学生名字，第二个是学生的成绩；编写Spark独立应用程序求出所有学生的平均成绩，并输出到一个新文件中。本文给出门课的成绩（Algorithm.txt、Database.txt、Python.txt）

2.环境介绍

操作系统：windows 10

内存：8GB

处理器：Intel core i7

虚拟机操作系统：Ubuntu16.04

虚拟机内存大小：3072mb

虚拟机硬盘大小：60GB

虚拟机处理器数量：1

Spark版本：2.4.0

Python版本：3.4.3

HBase版本：1.1.5

Hadoop版本：2.7.1

JDK版本：1.8

Scala版本：2.11.5

Maven版本：3.3.9

Flume版本：1.7.0

Hive版本：2.1.0

MongoDB版本：3.2.17

3.数据来源描述

访问课本网站“下载专区”的“数据集”，可以下载data1.txt，该数据集包含了某大学计算机系的成绩。而实验第二和第三部分的数据文件（A.txt,B.txt,Algorithm.txt,Database.txt,Python