MapReduce案例学习（2) 求各个部门的人数和平均工资

最新推荐文章于 2024-04-02 17:40:29 发布
最新推荐文章于 2024-04-02 17:40:29 发布
阅读量4.5k 收藏 18
点赞数 1
文章标签： hadoop mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lsxy117/article/details/48597505
版权
本文通过MapReduce实现对各部门员工记录的处理，Map阶段按部门输出工资，Reduce阶段计算部门总工资与人数，从而得出部门平均工资。
摘要由CSDN通过智能技术生成

设计思路：

map阶段：map读取每行记录，将部门作为key，工资作为value输出；

reduce阶段：将相同的key即同部门的工资作叠加运算得出总工资，同时在遍历value时，定义一个计数变量，统计该部门的人员数，最后总工资除以人员数得出该部门的平均工资。

package week06;

import java.io.IOException;

import java.text.DateFormat;
import java.text.SimpleDateFormat;
import java.util.Date;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.*;
import org.apache.hadoop.mapreduce.*;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

// 2) 求各个部门的人数和平均工资
public class Emp_Test2 extends Configured implements Tool {

	/**
	 * 计数器 用于计数各种异常数据
	 */
	enum Counter {
		LINESKIP,
	}

	/**
	 * M
最低0.47元/天 解锁文章
lsxy117
关注
MapReduce求行平均值--MapReduce案例
11-22
本案例主要探讨如何使用MapReduce来求取数据集的行平均值，这在数据分析、数据挖掘以及日志分析等场景中非常常见。我们将讨论四种不同的方法来实现这一目标，针对已处理（包含行号）和未处理的数据集。 首先，我们...
MapReduce序列化之统计各部门员工薪资总和
m0_52331159的博客
10-27 3264
问题描述（1）emp.csv 数据源导入错误，第一行少了部分数据，导致运行时数据类型转换错误。（2）Browse Directory 下载输出结果报错。（3）Reducer 处理过程写错了，统计成各部门Mgr（直接领导的员工ID），造成统计数据结果错误。问题分析当发现输出结果出现偏差时，需要认真检查自己写的程序代码和源数据。解决方法（1）Browse Directory 下载输出结果报错，采取了CSDN给出的解决方法：在本地配置主机映射。如果还有其它问题，欢迎大家评论交流~~~
MapReduce编写程序统计各部门员工薪水和
m0_63716485的博客
11-05 1134
通过MapReduce来统计各个部门员工的工资总额。
Maven工程的MapReduce程序2---实现统计各部门员工薪水总和功能
热门推荐
大头皮鞋的博客
11-04 1万+
前提条件： 1. 安装好jdk1.8（Windows环境下） 2. 安装好Maven3.3.9（Windows环境下） 3. 安装好eclipse（Windows环境下） 4. 安装好hadoop（Linux环境下） 输入文件： 将以下内容复制到Sublime/或Notepad++等编辑器，另存为EMP.csv 7369,SMITH,CLERK,7902,1980/12/1...
MapReduce求出各部门人员名单
qq_45578279的博客
11-19 848
实验名称 求出各部门人员名单 实验目的 1、熟练理解和掌握MapReduce编程模型 2、掌握使用其他语言实现MapReduce 实验原理 http://hadoop.apache.org/docs/r1.0.4/cn/streaming.html 实验环境 Ubuntu 16.04 Hadoop 2.7.3 Python 3.6 python代码编写 1、创建map.py文件 自行编程完成，实现要点： 逐行读取上一步两个文件的内容 分割成数据列表后，根据列表长度判断是员工表还是部门表 期望输出：部门编号，
MapReduce详解及实战
花开蝶自来
05-22 3923
MapReduce详解及实战
大数据学习（八）：mapreduce编程案例-求两人之间的共同好友
01-20
在本大数据学习案例中，我们将探讨如何使用MapReduce编程模型来解决一个社交网络中的问题：找出所有用户两两之间的共同好友。这个问题对于分析社交网络的连接性和用户群体有着重要的意义。 首先，我们要处理的数据...
MapReduce求行平均值--标准差--迭代器处理--MapReduce案例
11-22
在这个特定的案例中，我们将讨论如何使用MapReduce来计算数据行的平均值和标准差，这是数据分析中的两个重要统计指标。 首先，我们要理解MapReduce的基本工作流程。它主要包含两个主要阶段：Map阶段和Reduce阶段。...
求学生平均成绩MapReduce实例
08-25
求学生平均成绩MapReduce实例 对输入文件中的数据进行计算求学生的平均成绩；输入文件中的每行内容均为一名学生的姓名和他相应的成绩。
mapreduce案例数据
11-23
在这个案例中，我们关注的是与MapReduce相关的数据文件，包括`dept.csv`, `emp.csv`, 和 `sales.csv`。这些CSV（逗号分隔值）文件通常包含结构化的表格数据，非常适合用MapReduce进行分析和处理。 首先，`dept.csv`...
MapReduce统计部门员工组别，并排序
qq_53561431的博客
05-14 409
学习目标：MapReduce统计部门员工 员工数据 孙悟空 23 西游部 筋斗云 武松 33 水浒部 醉拳 关胜 32 水浒部 大刀 猪八戒 21 西游部 吃吃吃 贾宝玉 21 红楼部 呵呵 林黛玉 16 红楼部 嘻嘻 沙僧 25 西游部 潜水 王熙凤 46 红楼部 提示：有一个员工缺少一个技能属性字段 学习内容：现根据员工的组别进行自然排序，之后按照年龄排序 实体类 import org.apache.hadoop.io.WritableComparable; import java.io.Data
头歌-第1关：MapReduce的编程开发-求平均值
最新发布
2301_79646631的博客
04-02 1374
平均值有算术平均值，几何平均值，平方平均值（均方根平均值，rms），调和平均值，加权平均值等。其中以算术平均值最为常见。算术平均数，又称均值，是统计学中最基本、最常用的一种平均指标，分为简单算术平均数、加权算术平均数。它主要适用于数值型数据，不适用于品质数据。根据表现形式的不同，算术平均数有不同的计算形式和计算公式。求平均数是 MapReduce 比较常见的简单算法，使用 Map 端读取数据传入至 Reduce 端，在从 Reduce 端汇总并且统计总值与数量，将两值作商即可得出平均数。
Hadoop MapReduce 求公司部门员工工资总和案例实现！
Ganxiang
04-26 3806
Hadoop MapReduce 求公司部门员工工资总和案例实现！
MapReduce—平均工资
大数据进阶之路
11-14 2052
MapReduce—平均工资MapReduce—平均工资1. 需求分析2. 解答思路 MapReduce—平均工资 我这里是使用集群去处理这个日志数据，数据在我的github上，默认使用maven去管理所有的jar包 github地址： https://github.com/yangqi199808/MapReduce 1. 需求分析 按照所给数据文件去统计每个部门的人数，最高工资，最低工...
2018-07-26期 MapReduce求部门工资总和及平均工资
weixin_34033624的博客
07-26 988
1、Mapper类package cn.sjq.bigdata.mr.salary;import java.io.IOException;import org.apache.commons.lang.StringUtils;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;imp...
MapReduce（eclipse）求2020年部门工资平均值，求2021年员工平均工资
weixin_61620336的博客
10-15 1466
MapReduce（eclipse）求2020年部门工资平均值，求2021年员工平均工资
MR的案例：求每个部门的工资总额
lkq0112的博客
01-25 2225
MR的案例：求每个部门的工资总额 1、表：员工表emp        SQL: select deptno,sum(sal) from emp group by deptno; DEPTNO   SUM(SAL) ---------- ---------- 30       9400 20      10875 10       8750 2、开发MR实现 [root@111
MapReduce案例学习（1）求各个部门的总工资
天亮了
09-20 3051
为了方便employee对象的引用，定义了一个employee类： package week06; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import org.apache.hadoop.io.WritableComparable; /* * Employee Obj
MapReduce之求各个部门工资的总和
若兰幽竹
05-17 3909
MapReduce之求各个部门工资的总和一、需求说明二、测试数据三、实现步骤四、打包上传到集群中运行 一、需求说明 利用MapReduce程序求出各个部门工资的总和 二、测试数据 员工信息表：下载地址 表字段说明： 三、实现步骤 在Idea或eclipse中创建maven项目 在pom.xml中添加hadoop依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId&
Mapreduce 求各个部门最高工资的员工姓名，用java ，不调用get方法
06-01
可以使用MapReduce实现该功能，具体实现步骤如下： 1. Map阶段：将输入的员工信息按照部门编号作为key，员工姓名和工资作为value进行映射。 ```java public static class Map extends Mapper<LongWritable, Text, Text, Text> { private Text outKey = new Text(); private Text outValue = new Text(); @Override protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String[] fields = value.toString().split(","); String deptNo = fields[0]; String empName = fields[1]; String salary = fields[2]; outKey.set(deptNo); outValue.set(empName + ":" + salary); context.write(outKey, outValue); } } ``` 2. Reduce阶段：对于每个部门，遍历其所有员工的工资，找出最高工资，并将其对应的员工姓名输出。 ```java public static class Reduce extends Reducer<Text, Text, Text, Text> { private Text outValue = new Text(); @Override protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException { String maxSalaryEmpName = ""; int maxSalary = Integer.MIN_VALUE; for (Text value : values) { String[] fields = value.toString().split(":"); String empName = fields[0]; int salary = Integer.parseInt(fields[1]); if (salary > maxSalary) { maxSalary = salary; maxSalaryEmpName = empName; } } outValue.set(maxSalaryEmpName); context.write(key, outValue); } } ``` 3. Driver阶段：设置MapReduce的输入路径、输出路径、Mapper、Reducer等信息，并提交作业。 ```java public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "max salary by department"); job.setJarByClass(MaxSalaryByDepartment.class); job.setMapperClass(Map.class); job.setReducerClass(Reduce.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text.class); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } ``` 这样就可以通过MapReduce求出各个部门最高工资的员工姓名了，而且不需要调用get方法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值