MapReduce案例学习（3) 求每个部门最早进入公司的员工姓名

最新推荐文章于 2024-03-20 23:10:33 发布

lsxy117

最新推荐文章于 2024-03-20 23:10:33 发布

阅读量1.6k

点赞数 1

文章标签： mapreduce hadoop

本文链接：https://blog.csdn.net/lsxy117/article/details/48597581

版权

本文通过MapReduce解决一个问题：找出每个部门最早入职的员工。Map阶段将部门名和员工姓名、入职时间拼接，Reduce阶段遍历value，用最大时间与员工入职时间比较，更新最早入职时间。

摘要由CSDN通过智能技术生成

设计思路：

map阶段：将部门名称作为key，将员工姓名和入职时间以逗号分隔拼接成字符串，然后整体作为value输出；

reduce阶段：对map传入的value进行处理，按照逗号切分获得员工姓名和入职时间。因为要求最早进入公司的人员，所以定义一个时间变量，并赋值一个最大的时间值，遍历value时，将员工的入职时间和该最大时间比较，并将该时间变量替换为两者间的较小值。

package week06;

import java.io.IOException;

import java.text.DateFormat;
import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.Date;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.*;
import org.apache.hadoop.mapreduce.*;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

//3) 求每个部门最早进入公司的员工姓名
public class Emp_Test3 exten