RDD编程初级实践

1、需求描述

在数据大爆炸的年代，随着数据的日益增长，数据的分析变得尤为重要。所谓数据分析就是将产品相关的数据收集整合，然后利用特定的方法去分析这些数据，从中发现规律或是得到结论。这些特定的方法可以包括专业的统计学、数学建模等，也可以从数据的维度和广度出发，数据收集或对比、总结相似数据的相同性、异常数据出现的可能原因，这类分析比较偏人文学科，可能数学难度不高，但是利用独特的数据角度，同样可以得到非常有价值的结果。在校园的日常生活学习中通常需要统计大量的学生个人数据，传统的处理数据方法中，数据的利用效率尤其得低下。这个时候就需要利用RDD编程去管理这些数据，这样既方便又迅捷。

2、环境介绍

在本设计中，主要介绍的是如何去利用RDD编程去管理大量的数据，本设计全程在Ubuntu16.04系统中实现。Ubuntu是一个以桌面应用为主的Linux操作系统，完全遵从开源软件开发的原则;并且鼓励人们使用、完善并传播开源软件。ubuntu系统基于Debian发行版和GNOME桌面环境。Ubuntu的目标在于为一般用户提供一个最新的、同时又相当稳定的主要由自由软件构建而成的操作系统，它可免费使用，并带有社团及专业的支持。
配置环境变量：

3、数据来源描述

本次的数据主要来自于日常作业中的数据，其中数据文件data.txt，该数据集包含了某大学计算机系的成绩，数据文件A.txt和B.txt包含了每门课的成绩，数据文件Algorithm.txt、Database.txt、Python.txt每个输入文件表示班级学生某个学科的成绩，每行内容由两个字段组成，第一个是学生名字，第二个是学生的成绩。全部数据文件均是txt文件格式，方便上传和读取。

4、数据上传及上传结果查看

1.数据上传：

将准备好的数据通过u盘的方式分别放进usr/local/spark等目录中。

2.数据读取：

（1）读取data.txt中的数据：

（2）读取A.txt和B.txt中的数据

（3）读取Algorithm.txt、Data