目录
1、需求描述
在数据大爆炸的年代,随着数据的日益增长,数据的分析变得尤为重要。所谓数据分析就是将产品相关的数据收集整合,然后利用特定的方法去分析这些数据,从中发现规律或是得到结论。这些特定的方法可以包括专业的统计学、数学建模等,也可以从数据的维度和广度出发,数据收集或对比、总结相似数据的相同性、异常数据出现的可能原因,这类分析比较偏人文学科,可能数学难度不高,但是利用独特的数据角度,同样可以得到非常有价值的结果。在校园的日常生活学习中通常需要统计大量的学生个人数据,传统的处理数据方法中,数据的利用效率尤其得低下。这个时候就需要利用RDD编程去管理这些数据,这样既方便又迅捷。
2、环境介绍
在本设计中,主要介绍的是如何去利用RDD编程去管理大量的数据,本设计全程在Ubuntu16.04系统中实现。Ubuntu是一个以桌面应用为主的Linux操作系统,完全遵从开源软件开发的原则;并且鼓励人们使用、完善并传播开源软件。ubuntu系统基于Debian发行版和GNOME桌面环境。Ubuntu的目标在于为一般用户提供一个最新的、同时又相当稳定的主要由自由软件构建而成的操作系统,它可免费使用,并带有社团及专业的支持。
配置环境变量:
3、数据来源描述
本次的数据主要来自于日常作业中的数据,其中数据文件data.txt,该数据集包含了某大学计算机系的成绩,数据文件A.txt和B.txt包含了每门课的成绩,数据文件Algorithm.txt、Database.txt、Python.txt每个输入文件表示班级学生某个学科的成绩,每行内容由两个字段组成,第一个是学生名字,第二个是学生的成绩。全部数据文件均是txt文件格式,方便上传和读取。
4、数据上传及上传结果查看
1.数据上传:
将准备好的数据通过u盘的方式分别放进usr/local/spark等目录中。
2.数据读取:
(1)读取data.txt中的数据:
(2)读取A.txt和B.txt中的数据