2021-06-10

1、需求描述
本次实验需要用到操作系统：
Ubuntu16.04
Spark版本：2.4.0
Python版本：3.4.3
Ubuntu是世界上最流行的Linux系统之一，比Ubuntu更大的是自由软件，而比自由软件更大的则是自由软件的社区。Ubuntu社区为其使用者提供了多种学习、交流、切磋和讨论方式，如论坛、星球、维基及IRC即时通信等。通过Ubuntu庞大的社区组织，Ubuntu用户可以获得很多帮助和支持，使得Ubuntu使用起来更加得心应手。
浏览器体验虽然可以获得初步的Ubuntu体验，但总有意犹未尽的感觉，因为能够体验到的应用程序有限，且功能不全。要想更加深人地体验Ubuntu，则需要运行虚拟机，在虚拟机中获得更完整的体验。下载安装虚拟机。成功安装后运行虚拟机，选择菜单栏中的“管理”→“导入虚拟电脑”选项，将所下载体验镜像导入虚拟机，最后运行Ubuntu虚拟机，这样就可以获得比较真实的体验。在虚拟机中几乎可以完成所有操作，没有限制。
至于为什么要用到spark，因为传统的并行计算模型无法有效的解决迭代计算（iterative）和交互式计算（interactive）；而Spark的使命便是解决这两个问题，这也是他存在的价值和理由。RDD是一种具有容错性基于内存的集群计算抽象方法，Spark则是这个抽象方法的实现。
2、环境介绍
Ubuntu系统为Ubuntu16.04，本实验采用的版本是Spark2.4.0。Spark可以独立使用，也可以和Hadoop，一起使用Apache Spark 是一个新兴的大数据处理通用引擎，提供了分布式的内存抽象。以Python为编程语言，使用Spark对数据进行分析，Python版本为3.4.3。
另外，获取RDD，要：
1.从共享的文件系统获取，（如：HDFS）
2.通过已存在的RDD转换
3.将已存在scala集合（只要是Seq对象）并行化 ，通过调用SparkContext的parallelize方法实现
4.改变现有RDD的持久性，RDD是懒散，短暂的。（RDD的固化：cache缓存至内错；save保存到分布式文件系统）
3、数据来源描述
1)Pyspark交互式编程
本作业提供分析数据data.txt，该数据集包含了某大学计算机系的成绩，数据格式如下所示：
Tom,DataBase,80
Tom,Algorithm,50
Tom,DataStructure,60
Jim,DataBase,90
Jim,Algorithm,60
Jim,DataStructure,80
……

2)编写独立应用程序实现数据去重
对于两个输入文件A和B，编写Spark独立应用程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新文件C。本文给出门课的成绩（A.txt、B.txt）下面是输入文件和输出文件的一个样例，供参考。
输入文件A.txt的样例如下：
20200101 x
20200102 y
20200103 x
20200104 y
20200105 z
20200106 z
输入文件B.txt的样例如下：
20200101 y
20200102 y
20200103 x
20200104 z
20200105 y
根据输入的文件A和B合并得到的输出文件C的样例如下：
20200101 x
20200101 y
20200102 y
20200103 x
20200104 y
20200104 z
20200105 y
20200105 z
20200106 z

3)编写独立应用程序实现求平均值问题
每个输入文件表示班级学生某个学科的成绩，每行内容由两个字段组成，第一个是学生名字，第二个是学生的成绩；编写Spark独立应用程序求出所有学生的平均成绩，并输出到一个新文件中。本文给出门课的成绩（Algorithm.txt、Database.txt、Python.txt），下面是输入文件和输出文件的一个样例，供参考。
Algorithm成绩：
小明 92
小红 87
小新 82
小丽 90
Database成绩：
小明 95
小红 81
小新 89
小丽 85
Python成绩：
小明 82
小红 83
小新 94
小丽 91
平均成绩如下：
(小红,83.67)
(小新,88.33)
(小明,89.67)
(小丽,88.67)

4、数据上传及上传结果查看
4.1 编写独立应用程序实现数据去重


4.2 编写独立应用程序实现求平均值问题


5、数据处理过程描述
5.1 Pyspark交互式编程
1)该系总共有多少学生；

答：该系共有265名学生。

2)该系共开设了多少门课程；

答：该系共开设了8门课程。

3)Tom同学的总成绩平均分是多少；

答：Tom同学的总成绩平均分是30.8分。

4)求每名同学的选修的课程门数；

5)该系DataBase课程共有多少人选修；

答：该系DataBase课程共有126人选修。

6)各门课程的平均分是多少；

7)使用累加器计算共有多少人选了DataBase这门课。

答：共有126人选了DataBase这门课。

5.2 编写独立应用程序实现数据去重
1)设当前目录为/usr/local/spark/sparksqldata，在当前目录下新建一个文件并命名为remdup.py

2)最后在目录/usr/local/spark/ sparksqldata下执行下面命令执行程序（注意执行程序时请先退出pyspark shell，否则会出现“地址已在使用”的警告）；
$ python3 remdup.py

3)在目录/usr/local/spark/sparksqldata/result下，即可得到结果文件part-00000。

5.3 编写独立应用程序实现求平均值问题
1)当前目录为/usr/local/spark/mycode/avgscore，在当前目录下新建一个avgscore.py

2)最后在目录/usr/local/spark/mycode/avgscore下执行下面命令执行程序（注意执行程序时请先退出pyspark shell，否则会出现“地址已在使用”的警告）。

3)当前目录为/usr/local/spark/mycode/avgscore，在当前目录下新建一个Algorithm.txt

4)当前目录为/usr/local/spark/mycode/avgscore，在当前目录下新建一个Database.txt

5)当前目录为/usr/local/spark/mycode/avgscore，在当前目录下新建一个Python.txt

6)在目录/usr/local/spark/mycode/avgscore/result下即可得到结果文件part-00000

6、经验总结
这次大作业主要是在Ubuntu里面用python语言敲出来的，这次大作业事关RDD实验操作，平时上课基本都是跟着老师来敲命令，一步一个脚印慢慢地实践起来。当完全脱离了老师的实验，好像并不能熟悉的完全把代码敲出来，归根结底，都是对命令的不熟悉。
这学期的十三个实验里面，有两个都是和这次大作业相类似，只是在数据上的差异，但是如果没了之前实验的命令，自己还是不能够完全一字不差的打出来。特别是在第三个实验里面，做了三节课都不能够做出来，result的文件出不来以及出现了空文档的情况，成功一次次近在咫尺，后来尝试把之前所做的一些实验删去之后，result结果便出来了，可能是之前的一些文档影响了这次实验的原因吧。
总之，不熟的命令要多敲，熟能生巧，敲多了才可能成为自己的。另外还要感谢这学期老师的辛苦付出，谢谢老师！