基于Pyspark的RDD初级编程实践

一.案例

1.Pyspark交互式编程

某数据集（data.txt）包含了某大学计算机系的成绩，数据如下所示：
　Tom,DataBase,80
　Tom,Algorithm,50
　Tom,DataStructure,60
　Jim,DataBase,90
　Jim,Algorithm,60
　Jim,DataStructure,80
　……
　
请根据给定的实验数据，在pyspark中通过编程来计算以下内容：
（1）该系总共有多少学生；
（2）该系共开设了多少门课程；
（3）Tom同学的总成绩平均分是多少；
（4）求每名同学的选修的课程门数；
（5）该系DataBase课程共有多少人选修；
（6）各门课程的平均分是多少；
（7）使用累加器计算共有多少人选了DataBase这门课。

2.编写独立应用程序实现数据去重

对于两个输入文件A和B，编写Spark独立应用程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新文件C。本文给出门课的成绩（A.txt、B.txt）下面是输入文件和输出文件的一个样例，供参考。
输入文件A的样例如下：
　20200101 x
　20200102 y
　20200103 x
　20200104 y
　20200105 z
　20200106 z
输入文件B的样例如下：
　20200101 y
　20200102 y
　20200103 x
　20200104 z
　20200105 y
根据输入的文件A和B合并得到的输出文件C的样例如下：
　20200101 x
　20200101 y
　20200102 y
　20200103 x
　20200104 y
　20200104 z
　20200105 y
　20200105 z
　20200106 z

3.编写独立应用程序实现求平均值

每个输入文件表示班级学生某个学科的成绩，每行内容由两个字段组成，第一个是学生名字，第二个是学生的成绩；编写Spark独立应用程序求出所有学生的平均成绩，并输出到一个新文件中。本文给出门课的成绩（Algorithm.txt、Database.txt、Python.txt），下面是输入文件和输出文件的一个样例，供参考。
Algorithm成绩：
　小明 92
　小红 87
　小新 82
　小丽 90
Database成绩：
　小明 95
　小红 81
　小新 89
　小丽 85
Python成绩：
　小明 82
　小红 83
　小新 94
　小丽 91
平均成绩如下：
　(小红,83.67)
　(小新,88.33)
　(小明,89.67)
　(小丽,88.67)

二.前置准备

1.实验环境

虚拟机软件VMware Workstation Pro 15.5、安装了Hadoop2.7.1、Spark1.6.2、Python3.6、MySQL等软件的虚拟操作系统Ubuntu16.04。

2.传输数据文本文件

将物理机上的data.txt、A.txt、B.txt、Algorithm.txt、Database.txt、Python.txt几个文本文件打包通过邮箱、U盘或直接复制到虚拟操作系统里面。

三.具体步骤

1.Pyspark交互式编程

（1）将“data.txt”文本文件保存至Ubuntu虚拟操作系统“/usr/local/spark/sparksqldata”目录下。

（2）打开终端，输入“pyspark”进入spark界面。
（3）根据要求敲打命令行。
　①该系总共有265名学生。

　②该系共开设了8门课程。

　③Tom同学的总成绩平均分是30.8。

　④每名同学的课程选修情况。