1、需求描述
本次实验需要:系统:linux unbuntu14.04,处理器:至少需要两个处器,一个内核,内存:至少4G,硬盘空间:大小需要20GB。Hadoop:2.7.1以上版本,JDK:1.8以上版本,Spark:2.4.0以上版本,Python:3.6以上版本。
1、根据data.txt的数据分析某大学计算机系的成绩
(1)该系总共有多少学生;
(2)该系共开设了多少门课程;
(3)Tom同学的总成绩平均分是多少;
(4)求每名同学的选修的课程门数;
(5)该系DataBase课程共有多少人选修;
(6)各门课程的平均分是多少;
(7)使用累加器计算共有多少人选了DataBase这门课。
2、编写独立应用程序实现数据去重
对于两个输入文件A和B,编写Spark独立应用程序,对两个文件进行合并,并剔除其中重复的内容,得到一个新文件C
3、编写独立应用程序实现求平均值问题
每个输入文件表示班级学生某个学科的成绩,每行内容由两个字段组成,第一个是学生名字,第二个是学生的成绩;编写Spark独立应用程序求出所有学生的平均成绩,并输出到一个新文件中
2、环境介绍
环境准备:
- Hadoop下载与安装
(提取码:99bg)进入该百度云盘链接后,找到Hadoop安装文件hadoop-2.7.1.tar.gz。
2、下载完后还需要配置必备工作才能安装hadoop。
(1)首先创建Hadoop用户,sudo useradd -m hadoop -s /bin/bash
(2)设置Hadoop用户密码,sudo passwd Hadoop
(3)为Hadoop用户增加管理员权限,sudo adduser hadoop sudo
(4)使用Hadoop用户登录后需要更新apt,sudo apt-get update
(5)安装vim, sudo apt-get install vim
(6)安装JAVA环境