- 需求描述
本次实验需要了解到RDD编程的基础知识,明白RDD是Spark的核心概念,它是一个只读的、可分区的分布式数据集,这个数据集可全部或部分缓存在内存中,在多次计算间重用。其中包括RDD的创建、操作API、持久化和分区等。
熟悉Spark的RDD基本操作及键值对操作,然后通过所学的知识熟悉使用RDD编程解决实际具体问题的方法。
实验一,pyspark交互式编程。可到教材官网的“下载专区”的“数据集”中下载chapter4-data1.txt,该数据集包含了某大学计算机系的成绩, 然后根据给定的实验数据,在pyspark中通过编程来计算以下所给出的要求。
实验二,编写独立应用程序实现数据去重。对于两个输入文件A和B,编写Spark独立应用程序,对两个文件进行合并,并剔除其中重复的内容,得到一个新文件C。
实验三,编写独立应用程序实现求平均值问题。每个输入文件表示班级学生某个学科的成绩,每行内容由两个字段组成,第一个是学生名字,第二个是学生的成绩;编写Spark独立应用程序求出所有学生的平均成绩,并输出到一个新文件中。
- 环境介绍
操作系统:Ubuntu16.04
Spark版本:2.4.0
Python版本:3.8.0
- 数据来源描述
可到教程官网的“下载专区”的“数据集”中下载所需要的数据(http://dblab.xmu.edu.cn/post/spark-python/#xiazaizhuanqu),该页面包含了所涉及到数据集。
- 数据上传及上传结果查看
通过filezilla连接ubuntu的IP地址进行传输,在ubuntu系统主文件下载文件夹查看