MapReduce序列化之统计各部门员工薪资总和

已于 2022-11-02 21:27:21 修改
阅读量3.1k 收藏 35
点赞数 6
文章标签： mapreduce java 大数据 1024程序员节 hadoop
于 2022-10-27 12:01:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_52331159/article/details/127547970
版权

MapReduce序列化之统计各部门员工薪资总和

文章目录

1.1 实验目的

通过MapReduce的序列化方法统计各个部门员工薪水总和。

1.2 实验环境

  1. 搭建IDEA+Maven开发环境
  2. VMwarePro16+Centos7+xshell7+Xftp7
  3. Hadoop2.7.7

1.3 需求描述

员工的数据如下：
在这里插入图片描述
各字段描述如下：

在这里插入图片描述

7369,SMITH,CLERK,7902,1980/12/17,800,,20
7499,ALLEN,SALESMAN,7698,1981/2/20,1600,300,30
7521,WARD,SALESMAN,7698,1981/2/22,1250,500,30
7566,JONES,MANAGER,7839,1981/4/2,2975,,20
7654,MARTIN,SALESMAN,7698,1981/9/28,1250,1400,30
7698,BLAKE,MANAGER,7839,1981/5/1,2850,,30
7782,CLARK,MANAGER,7839,1981/6/9,2450,,10
7788,SCOTT,ANALYST,7566,1987/4/19,3000,,20
7839,KING,PRESIDENT,,1981/11/17,5000,,10
7844,TURNER,SALESMAN,7698,1981/9/8,1500,0,30
7876,ADAMS,CLERK,7788,1987/5/23,1100,,20
7900,JAMES,CLERK,7698,1981/12/3,950,,30
7902,FORD,ANALYST,7566,1981/12/3,3000,,20
7934,MILLER,CLERK,7782,1982/1/23,1300,,10

将此文件保存在hdfs，作为输入文件。

hdfs dfs -put emp.csv /input_emp

(改为自己的文件目录)

1.4 实验步骤

1.4.1 采用IDEA创建一个Maven工程

在本地运行时需要添加以下依赖jar包；若不在本地运行，这里可以不添加依赖，Linux系统布署的hadoop已经有这些jar包了。（注：我的本地windows系统没有安装hadoop，所以并没有在本地运行）

修改pom.xml,增加节点，代码如下：

<?xml version="1.0" encoding="UTF-8"?>

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>

  <groupId>com.serial</groupId>
  <artifactId>serialsalarytol</artifactId>
  <version>1.0-SNAPSHOT</version>

  <name>serialsalarytol</name>
  <!-- FIXME change it to the project's website -->
  <url>http://www.example.com</url>

  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <maven.compiler.source>1.7</maven.compiler.source>
    <maven.compiler.target>1.7</maven.compiler.target>
  </properties>

  <dependencies>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>4.11</version>
      <scope>test</scope>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-common</artifactId>
      <version>2.7.7</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-hdfs</artifactId>
      <version>2.7.7</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-mapreduce-client-core</artifactId>
      <version>2.7.7</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-client</artifactId>
      <version>2.7.7</version>
    </dependency>
  </dependencies>

  <build>
    <pluginManagement><!-- lock down plugins versions to avoid using Maven defaults (may be moved to parent pom) -->
      <plugins>
        <!-- clean lifecycle, see https://maven.apache.org/ref/current/maven-core/lifecycles.html#clean_Lifecycle -->
        <plugin>
          <artifactId>maven-clean-plugin</artifactId>
          <version>3.1.0</version>
        </plugin>
        <!-- default lifecycle, jar packaging: see https://maven.apache.org/ref/current/maven-core/default-bindings.html#Plugin_bindings_for_jar_packaging -->
        <plugin>
          <artifactId>maven-resources-plugin</artifactId>
          <version>3.0.2</version>
        </plugin>
        <plugin>
          <artifactId>maven-compiler-plugin</artifactId>
          <version>3.8.0</version>
        </plugin>
        <plugin>
          <artifactId>maven-surefire-plugin</artifactId>
          <version>2.22.1</version>
        </plugin>
        <plugin>
          <artifactId>maven-jar-plugin</artifactId>
          <version>3.0.2</version>
        </plugin>
        <plugin>
          <artifactId>maven-install-plugin</artifactId>
          <version>2.5.2</version>
        </plugin>
        <plugin>
          <artifactId>maven-deploy-plugin</artifactId>
          <version>2.8.2</version>
        </plugin>
        <!-- site lifecycle, see https://maven.apache.org/ref/current/maven-core/lifecycles.html#site_Lifecycle -->
        <plugin>
          <artifactId>maven-site-plugin</artifactId>
          <version>3.7.1</version>
        </plugin>
        <plugin>
          <artifactId>maven-project-info-reports-plugin</artifactId>
          <version>3.0.0</version>
        </plugin>
      </plugins>
    </pluginManagement>
  </build>
</project>

1.4.2 自己动手开发Java程序

（1）编写Emplyee.java类，代码如下：

import org.apache.hadoop.io.Writable;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

public class Employee implements Writable {

    private int empno;
    private String ename;
    private String job;
    private int mgr;
    private String hiredate;
    private int sal;
    private int comm;
    private int deptno;

    @Override
    public void write(DataOutput dataOutput) throws IOException {
        //案例三：序列化
        dataOutput.writeInt(this.empno);
        dataOutput.writeUTF(this.ename);
        dataOutput.writeUTF(this.job);
        dataOutput.writeInt(this.mgr);
        dataOutput.writeUTF(this.hiredate);
        dataOutput.writeInt(this.sal);
        dataOutput.writeInt(this.comm);
        dataOutput.writeInt(this.deptno);

    }

    @Override
    public void readFields(DataInput dataInput) throws IOException {
        //反序列化
        this.empno = dataInput.readInt();
        this.ename = dataInput.readUTF();
        this.job = dataInput.readUTF();
        this.mgr = dataInput.readInt();
        this.hiredate = dataInput.readUTF();
        this.sal = dataInput.readInt();
        this.comm = dataInput.readInt();
        this.deptno = dataInput.readInt();

    }

    public int getEmpno() {
        return empno;
    }

    public void setEmpno(int empno) {
        this.empno = empno;
    }

    public String getEname() {
        return ename;
    }

    public void setEname(String ename) {
        this.ename = ename;
    }

    public String getJob() {
        return job;
    }

    public void setJob(String job) {
        this.job = job;
    }

    public int getMgr() {
        return mgr;
    }

    public void setMgr(int mgr) {
        this.mgr = mgr;
    }

    public String getHiredate() {
        return hiredate;
    }

    public void setHiredate(String hiredate) {
        this.hiredate = hiredate;
    }

    public int getSal() {
        return sal;
    }

    public void setSal(int sal) {
        this.sal = sal;
    }

    public int getComm() {
        return comm;
    }

    public void setComm(int comm) {
        this.comm = comm;
    }

    public int getDeptno() {
        return deptno;
    }

    public void setDeptno(int deptno) {
        this.deptno = deptno;
    }


}

（2）编写SalaryTotalMapper.java类，并继承父类Mapper，代码如下：

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

public class SalaryTotalMapper  extends Mapper<LongWritable, Text, IntWritable,Employee> {
    @Override
    protected  void map(LongWritable key1, Text value1, Context context) throws IOException, InterruptedException {
        //模式匹配
        String data = value1.toString();
        //分词
        String [] words = data.split(",");
        //创建员工对象
        Employee e = new Employee();
        //设置员工属性
        e.setEmpno(Integer.parseInt(words[0]));//员工号
        e.setEname(words[1]);//姓名
        e.setJob(words[2]);//职位
        try{
            e.setMgr(Integer.parseInt(words[3]));//老板号
        }catch (Exception ex){
            e.setMgr(-1);
        }
        e.setHiredate(words[4]);//入职日期
        e.setSal(Integer.parseInt(words[5]));//月薪
        try{
            e.setComm(Integer.parseInt(words[6]));//奖金
        }catch (Exception ex){
            e.setComm(0);
        }
        e.setDeptno(Integer.parseInt(words[7]));//部门号
        //输出：k2部门号 v2员工对象
        context.write(new IntWritable(e.getDeptno()),e);
    }

}

（3）编写SalaryTotalReducer.java类，并继承父类Reducer，代码如下：

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

public class SalaryTotalReducer extends Reducer<IntWritable,Employee,IntWritable,IntWritable> {
    //对v3中的每个员工进行工资求和
    @Override
    protected void reduce(IntWritable k3, Iterable<Employee> v3, Context context) throws IOException, InterruptedException {
        int total = 0;
        for(Employee e:v3){
            total = total + e.getSal();

        }
        context.write(k3,new IntWritable(total));
    }
}

（4）写主类，让程序能够运行起来，代码如下：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.log4j.BasicConfigurator;

import java.io.IOException;

public class SalaryTotalMain {
    public static void main(String[] args) throws Exception {
        Job job = Job.getInstance(new Configuration());
        job.setJarByClass(SalaryTotalMain.class);
        //指定job的mapper和输出类型 k2 v2
        job.setMapperClass(SalaryTotalMapper.class);
        job.setMapOutputKeyClass(IntWritable.class);
        job.setMapOutputValueClass(Employee.class);
        //指定job的reducer和输出类型 k4 v4
        job.setReducerClass(SalaryTotalReducer.class);
        job.setOutputKeyClass(IntWritable.class);
        job.setOutputValueClass(IntWritable.class);
        //指定job的输入输出的路径
        FileInputFormat.setInputPaths(job,new Path(args[0]));
        FileOutputFormat.setOutputPath(job,new Path(args[1]));
        job.waitForCompletion(true);
    }
}

以上工作完成之后，打jar包，使用maven时，将以下工作目录改成自己的本地目录。

在这里插入图片描述

1.4.3 使用maven生命周期package打jar包

在这里插入图片描述

1.4.4 通过xftp将jar包上传到linux系统

在这里插入图片描述

1.4.5 在hadoop环境运行jar包

   通过命令：**“hadoop jar jar包名 包名.主类名 输入数据文件地址（前面将emp.csv传到HDFS的位置） 输出数据文件地址（自己不用创建，会自动创建，不能重复）”**在linux系统运行。

hadoop jar saltotal-1.0-SNAPSHOT.jar 自己写的包名.SalaryTotalMain  /input1_emp /output_emp2

在这里插入图片描述

出现map 100% reduce 100%即运行成功。

1.4.6 查看输出结果

在这里插入图片描述
在这里插入图片描述

或者直接使用shell命令查看。

在这里插入图片描述

1.5 实验中遇到的问题总结

实验过程中遇到了很多问题，不过都解决了，下面是问题小结：

1.5.1 问题描述

（1）emp.csv 数据源导入错误，第一行少了部分数据，导致运行时数据类型转换错误。
（2）Browse Directory 下载输出结果报错。
在这里插入图片描述

（3）Reducer 处理过程写错了，统计成各部门Mgr（直接领导的员工ID），造成统计数据结果错误。
在这里插入图片描述
在这里插入图片描述

1.5.2 问题分析

当发现输出结果出现偏差时，需要认真检查自己写的程序代码和源数据。

1.5.3 解决方法

（1）Browse Directory 下载输出结果报错，采取了CSDN给出的解决方法：在本地配置主机映射。

在这里插入图片描述

如果还有其它问题，欢迎大家评论交流~~~

忽儿
关注
  • 6
    点赞
  • 踩
  • 35
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
MapReduce案例之聚合求和
QYHuiiQ
06-04 824
在这个案例中，我们要实现的是统计每个用户（以手机号作为用户标识）过去几个月分别在数码、出行、餐饮方面的支出之和，也就是将每个月的数码支出进行求和，出行支出求和，餐饮方面求和，最后得出3个值。 将数据上传至服务器： 将数据文件上传至HDFS: 新建project: 创建自定义Bean类封装三项支出 自定义Mapper 自定义Reducer类 自定义主类 打包 查看运行结果 可以看到运算结果与我们预期的结果是一致的。
Java简单项目实例---统计部门员工的平均工资
Bennettgxd的博客
09-02 775
java简单项目实例题目要求代码实现CompanyDepartmentEmployeeTest 题目 公司有开发部，测试部，运维部 每个部门有若干员工 员工有姓名，基本工资和奖金 要求 设计和编写程序实现统计每个部门的工资总额和奖金总额 代码实现 Company import java.util.ArrayList; import java.util.List; public class Company { private String name; private List<Department
MapReduce-流量统计求和-步骤分析
Leon_Jinhai_Sun的博客
02-28 511
1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.aliimg.com 游戏娱乐 24 27 2481 24681 200 1363157995052 13826544101 5C-0E-8B-C7-F1-E0:CMCC 120.197.40.4 jd.com 京东购物 4 0 264 0 200 1...
MapReduce案例学习（2) 求各个部门的人数和平均工资
天亮了
09-20 4452
设计思路： map阶段：map读取每行记录，将部门作为key，工资作为value输出； reduce阶段：将相同的key即同部门的工资作叠加运算得出总工资，同时在遍历value时，定义一个计数变量，统计该部门的人员数，最后总工资除以人员数得出该部门的平均工资。 package week06; import java.io.IOException; import java.text.Dat
Maven工程的MapReduce程序2---实现统计各部门员工薪水总和功能
热门推荐
大头皮鞋的博客
11-04 1万+
前提条件： 1. 安装好jdk1.8（Windows环境下） 2. 安装好Maven3.3.9（Windows环境下） 3. 安装好eclipse（Windows环境下） 4. 安装好hadoop（Linux环境下） 输入文件： 将以下内容复制到Sublime/或Notepad++等编辑器，另存为EMP.csv 7369,SMITH,CLERK,7902,1980/12/1...
16_尚硅谷大数据之MapReduce_Hadoop序列化1
08-04
2.1 序列化概述 2.2 常用数据序列化类型 2.3 自定义 bean 对象实现序列化接口（Writable） 2.4 序列化案例实操
16、MapReduce的基本用法示例-自定义序列化、排序、分区、分组和topN
05-29
16、MapReduce的基本用法示例-自定义序列化、排序、分区、分组和topN 网址：https://blog.csdn.net/chenwewi520feng/article/details/130454036 本文介绍MapReduce常见的基本用法。 前提是hadoop环境可正常运行。 ...
mapreduce框架学习之天气统计
11-11
一次很好的mapreduce框架学习。复习了框架大部分组件，代码都是一个一个敲上去的，借鉴了视频中老师的讲解，只包含了7个代码中关键的java文件，其他包都需要自己导入。
基于MapReduce的学生平均成绩统计
06-06
利用MapReduce实现了求学生成绩的最大值，最小值，及成绩分布。结合我的博客“MapReduce之学生平均成绩”看，效果更好。
MapReduce之Join操作
01-30
在关系型数据库中 ...MapReduce编程模型，也有相应的处理措施和优化方法。本文对Hadoop中最基本的join方法进行简单介绍，这也是其它许多方法和优化措施的基础。文中所采用的例子来自于《 HadoopinAc
MapReduce求出各部门人员名单
qq_45578279的博客
11-19 806
实验名称 求出各部门人员名单 实验目的 1、熟练理解和掌握MapReduce编程模型 2、掌握使用其他语言实现MapReduce 实验原理 http://hadoop.apache.org/docs/r1.0.4/cn/streaming.html 实验环境 Ubuntu 16.04 Hadoop 2.7.3 Python 3.6 python代码编写 1、创建map.py文件 自行编程完成，实现要点： 逐行读取上一步两个文件的内容 分割成数据列表后，根据列表长度判断是员工表还是部门表 期望输出：部门编号，
MapReduce详解及实战
花开蝶自来
05-22 2391
MapReduce详解及实战
MapReduce（WordCount）算法、简单求和计数 （小白也能看得懂）
一个有趣的人，咱们处处看！
11-12 1317
这是一个txt文件 里面是一些数据 27 41 39 29 51 45 24 28 56 52 29 51 18 25 19 10 52 37 18 25 23 52 19 33 59 24 39 58 51 12 44 10 42 19 35 28 39 33 58 45 28 35 26 55 32 33 27 40 10 31 42 15 41 56 42 47 40 45 28 52 ...
MapReduce统计部门员工组别，并排序
qq_53561431的博客
05-14 393
学习目标：MapReduce统计部门员工 员工数据 孙悟空 23 西游部 筋斗云 武松 33 水浒部 醉拳 关胜 32 水浒部 大刀 猪八戒 21 西游部 吃吃吃 贾宝玉 21 红楼部 呵呵 林黛玉 16 红楼部 嘻嘻 沙僧 25 西游部 潜水 王熙凤 46 红楼部 提示：有一个员工缺少一个技能属性字段 学习内容：现根据员工的组别进行自然排序，之后按照年龄排序 实体类 import org.apache.hadoop.io.WritableComparable; import java.io.Data
实验三 MapReduce实践
L2489754250的博客
04-17 2873
参考链接操作步骤参考链接，来自我们老师PPT，我只是写自己的操作过程。
Hadoop MapReduce 求公司部门员工工资总和案例实现！
Ganxiang
04-26 3553
Hadoop MapReduce 求公司部门员工工资总和案例实现！
2018-07-26期 MapReduce求部门工资总和及平均工资
weixin_34033624的博客
07-26 964
1、Mapper类package cn.sjq.bigdata.mr.salary;import java.io.IOException;import org.apache.commons.lang.StringUtils;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;imp...
MapReduce—平均工资
大数据进阶之路
11-14 1879
MapReduce—平均工资MapReduce—平均工资1. 需求分析2. 解答思路 MapReduce—平均工资 我这里是使用集群去处理这个日志数据，数据在我的github上，默认使用maven去管理所有的jar包 github地址： https://github.com/yangqi199808/MapReduce 1. 需求分析 按照所给数据文件去统计每个部门的人数，最高工资，最低工...
Maven工程的MapReduce程序3---实现统计各部门员工薪水总和功能(优化)
大头皮鞋的博客
11-16 6896
本文在实现统计各部门员工薪水总和功能的基础上进行，还没实现的话请参考：实现统计各部门员工薪水总和功能 优化项目： 1.使用序列化 2.实现分区Patitioner 3.Map使用Combiner 使用序列化 本案例是在实现统计各部门员工薪水总和功能基础上进行。 序列化与反序列化： 序列化是指将Java对象转换为二进制串的过程，方便网络传输； 反序列化是指将二进制串转换为Ja...
mapreduce实现数据集
最新发布
10-24
MapReduce是一种分布式计算模型，它可以用于处理大规模数据集。MapReduce的实现方式是将数据集分成多个小块，然后在多个计算节点上并行处理这些小块，最后将结果合并起来得到最终结果。 具体来说，MapReduce的实现过程包括以下几个步骤： 1. 输入数据切分：将输入数据集切分成多个小块，每个小块的大小通常为64MB或128MB。 2. Map阶段：对每个小块进行Map操作，将输入数据转换成一系列键值对。 3. Shuffle阶段：将Map输出的键值对按照键进行排序，并将相同键的值合并起来。 4. Reduce阶段：对每个键的值进行Reduce操作，得到最终结果。 5. 输出结果：将Reduce输出的结果写入到输出文件中。 MapReduce的实现可以使用各种编程语言和框架，比如Hadoop、Spark等。在实际应用中，需要根据具体的需求和数据集大小选择合适的实现方式和工具。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值