四、考核内容:
学生独立完成项目“某公司工资数据分析”和“学生成绩数据分析”,项目包括两个内容:1,熟练掌握HDFS(上传文件,下载文件等),MapReduce的功能和原理。2.掌握HBASE的基本操作和原理。 3.基于HBase和HDFS,利用Idea编程实现部门数据分析和学生成绩任务:①计算每个学生的平均成绩;②计算没门课程的平均成绩;③计算各个部门的总工资;④求各个部门的人数和平均工资;⑤求每个部门的最高工资;
部门工资数据说明:第1列是员工代码,第2列是员工姓名,第3列是员工所属部门,第4列是该员工上司的代码,第5列是员工进入公司的时间,第6列是员工工资,第7列奖金,第8列是部门代码。
数据示例:
7369,SMITH,CLERK,7902,17-12月-80,800,0,20
7499,ALLEN,SALESMAN,7698,20-2月-81,1600,300,30
7521,WARD,SALESMAN,7698,22-2月-81,1250,500,30
7566,JONES,MANAGER,7839,02-4月-81,2975,0,20
7654,MARTIN,SALESMAN,7698,28-9月-81,1250,1400,30
学生成绩数据说明:第1列学号,第2列学生姓名,第3列语文成绩,第4列数学成绩,第5列英语成绩
数据示例:
1001,Tom,70,85,80
1002,Cat,85,90,70