RDD编程初级实践

1. 需求描述

本次实验需要了解到RDD编程的基础知识，明白RDD是Spark的核心概念，它是一个只读的、可分区的分布式数据集，这个数据集可全部或部分缓存在内存中，在多次计算间重用。其中包括RDD的创建、操作API、持久化和分区等。

熟悉Spark的RDD基本操作及键值对操作，然后通过所学的知识熟悉使用RDD编程解决实际具体问题的方法。

实验一，pyspark交互式编程。可到教材官网的“下载专区”的“数据集”中下载chapter4-data1.txt，该数据集包含了某大学计算机系的成绩， 然后根据给定的实验数据，在pyspark中通过编程来计算以下所给出的要求。

实验二，编写独立应用程序实现数据去重。对于两个输入文件A和B，编写Spark独立应用程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新文件C。

实验三，编写独立应用程序实现求平均值问题。每个输入文件表示班级学生某个学科的成绩，每行内容由两个字段组成，第一个是学生名字，第二个是学生的成绩；编写Spark独立应用程序求出所有学生的平均成绩，并输出到一个新文件中。

1. 环境介绍

操作系统：Ubuntu16.04

Spark版本：2.4.0

Python版本：3.8.0

1. 数据来源描述

可到教程官网的“下载专区”的“数据集”中下载所需要的数据（http://dblab.xmu.edu.cn/post/spark-python/#xiazaizhuanqu），该页面包含了所涉及到数据集。

1. 数据上传及上传结果查看

通过filezilla连接ubuntu的IP地址进行传输，在ubuntu系统主文件下载文件夹查看