MapReduce案例学习(5) 列出工资比上司高的员工姓名及其工资

最新推荐文章于 2024-09-23 14:00:20 发布

lsxy117

最新推荐文章于 2024-09-23 14:00:20 发布

阅读量2.3k

点赞数 3

分类专栏： mapreduce hadoop 文章标签： hadoop mapreduce

本文链接：https://blog.csdn.net/lsxy117/article/details/48597693

版权

这篇博客介绍了如何运用MapReduce解决一个问题：找出所有薪资高于其直接上级的员工。在Map阶段，数据被标记为员工或管理者，并分别记录姓名和薪水。Reduce阶段则通过聚集相同key（员工ID）的数据，比较员工和管理者之间的薪水，从而确定薪资更高的员工。

摘要由CSDN通过智能技术生成

设计思路：

数据部分截取，用于方便分析
---------------------------------
empno ename mgr sal
7369 SMITH 7902 800
7499 ALLEN 7698 1600
7521 WARD 7698 1250
7566 JONES 7839 2975
7654 MARTIN 7698 1250
7698 BLAKE 7839 2850
7782 CLARK 7839 2450
7839 KING 5000
7844 TURNER 7698 1500
7900 JAMES 7698 950
7902 FORD 7566 3000

-----------------------------------
map阶段
读取：7566 JONES 7839 2975
输出：在输出的value中用一个状态位标示该人员身份，用emp表示员工；mgr表示管理者
7566 emp,JONES,2975 --表示7566是一个员工，员工姓名为JONES，薪水为2975
7839 mgr,JONES,2975 --表示7839是一个管理者，他的下属是JONES，该下属的薪水为2975

以下类似的
读取：7698 BLAKE 7839 2850
输出：
7698 emp,BLAKE,2850
7839 mgr,BLAKE,2850

读取：7782 CLARK 7839 2450
输出：
7782 emp,CLARK,2450
7839 mgr,CLARK,2450

读取：7839 KING 5000
输出：
7839 emp,KING,5000
null