MapReduce 编程作业

最新推荐文章于 2022-11-07 16:51:16 发布
最新推荐文章于 2022-11-07 16:51:16 发布
阅读量565 收藏 6
点赞数
分类专栏： hadoop 文章标签： mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44387652/article/details/106460168
版权

MapReduce 编程作业

1、准备数据

科目，姓名，成绩
computer,huangxiaoming,85
computer,xuzheng,54
computer,huangbo,86
computer,liutao,85
computer,huanglei,99
computer,huangxiaoming,85
computer,xuzheng,54
computer,huangbo,86
computer,liujialing,85
computer,liuyifei,75
computer,huangdatou,48
computer,huangjiaju,88
computer,huangzitao,85
english,zhaobenshan,57
english,liuyifei,85
english,liuyifei,76
english,huangdatou,48
english,zhouqi,85
english,huangbo,85
english,huangxiaoming,96
english,huanglei,85
english,liujialing,75
algorithm,liuyifei,75
english,huangxiaoming,96
english,huanglei,85
english,liujialing,75
algorithm,liuyifei,75
algorithm,huanglei,76
algorithm,huangjiaju,85
algorithm,liutao,85
algorithm,huangzitao,81
math,wangbaoqiang,85
algorithm,42
algorithm,huangzitao,81
math,wangbaoqiang,85
math,huanglei,76
math,huangjiaju,85
math,liutao,48
math,huangjiaju,85
math,xuzheng,54
math,huangxiaoming,85
math,liujialing,85
math,huanglei,76
math,huangjiaju,85
math,liutao,48

以上所有的是数据，该数据每行有三个字段值，分别是course,name,score

2、需求分析1

（1）对以上的数据去重 分组
相同的数据 只取一个
思路1：
map端一行读一次
全部发给reduce
key：写死 “”
value：一整行内容
reduce端去重
将value进行放在set集合中
思路2：
运用mr 分组
相同的key分到一组
map端：
key：整条数据
value：Text | NullWritable
reduce端：
相同整条数据 分到一组
reduce（一组中的一个key，values，context）{
key输出
}

3、实现1

package com.zc.hadoop.mapreduce.demo.studentscore;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

/*
 * 1、去重
 */
public class DuplicateRemoval {
	/*
	 * Mapper
	 */
	static class DuplicateRemovalMapper extends Mapper<LongWritable, Text, Text, Text>{
		Text mk = new Text();
		Text mv = new Text();
		@Override
		protected void map(LongWritable key, Text value, Context context)
				throws IOException, InterruptedException {
			mk.set(value);
			mv.set("");
			context.write(mk, mv);
		}
		
	}
	
	/*
	 * Reducer
	 */
	static class DuplicateRemovalReducer extends Reducer<Text, Text, Text, Text>{
		Text rv = new Text();
		@Override
		protected void reduce(Text key, Iterable<Text> values, Context context)
				throws IOException, InterruptedException {
			rv.set("");
			context.write(key, rv);
		}
		
	}
	
	/*
	 * Driver
	 */
	public static void main(String[] args) throws Exception {
		// 加载配置文件
		Configuration conf = new Configuration();
		
		// 启动一个 job
		Job job = Job.getInstance(conf);
		
		// 设置主类入口
		job.setJarByClass(DuplicateRemoval.class);
		
		// 指定 MR 中 mapper 和 reducer 类
		job.setMapperClass(DuplicateRemovalMapper.class);
		job.setReducerClass(DuplicateRemovalReducer.class);
		
		// 指定 mapper 和 reducer 输出泛型
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(Text.class);
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(Text.class);
		
		// 获取 HDFS 文件系统连接
		FileSystem fs = FileSystem.get(conf);
		// 指定测试文件路径
		Path inpath = new Path(args[0]);
		if (fs.exists(inpath)) {
			FileInputFormat.addInputPath(job, inpath);
			
			// 指定结果输出路径
			Path outpath = new Path(args[1]);
			if (fs.exists(outpath)) {
				fs.delete(outpath, true);
			}
			FileOutputFormat.setOutputPath(job, outpath);
			
		} else {
			System.out.println("指定输入文件路径不存在");
		}
		
		System.exit(job.waitForCompletion(true) ? 0 : 1);
		
	}
}

3、需求分析2

每一个course的最高分，最低分，平均分 作业****
map key 分组
分组： 每一个 course
map端：
key：course Text
value：分数 IntWritable

reduce端：
相同course的所有数据分到一组
reduce（科目，所有分数，context）{
循环遍历所有分数 求最大 最小 平均
}

输出
key： 科目   Text
value:最大值+最小值+平均值 Text

4、实现2

package com.zc.hadoop.mapreduce.demo.studentscore;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import com.zc.hadoop.mapreduce.demo.studentscore.DuplicateRemoval.DuplicateRemovalMapper;
import com.zc.hadoop.mapreduce.demo.studentscore.DuplicateRemoval.DuplicateRemovalReducer;

/*
 * 2、每一个course的最高分，最低分，平均分
 */
public class CourseMaxMinAndAvgScore {
	
	/*
	 * mapper
	 */
	static class CourseMaxMinAndAvgScoreMapper extends Mapper<LongWritable, Text, Text, IntWritable>{

		Text mk = new Text();
		IntWritable mv = new IntWritable();
		@Override
		protected void map(LongWritable key, Text value, Context context)
				throws IOException, InterruptedException {
			// 拿到每一行数据进行分割
			String[] info = value.toString().split(",");
			// 去除不规则数据
			if (info.length == 3) {
				// [course,name,score]
				// key --> course,  value ---> score
				mk.set(info[0].trim());
				mv.set(Integer.parseInt(info[2].trim()));
				context.write(mk, mv);
			}
		}
		
	}
	
	/*
	 * reducer
	 */
	static class CourseMaxMinAndAvgScoreReducer extends Reducer<Text, IntWritable, Text, Text>{
		
		Text rk = new Text();
		Text rv = new Text();
		@Override
		protected void reduce(Text key, Iterable<IntWritable> values,Context context) 
				throws IOException, InterruptedException {
			// 按课程分组，成绩为迭代器
			int max = 0, min = 0, count = 0, sum = 0;
			for (IntWritable value : values) {
				int score = value.get();
				count++;
				if (count == 1) {
					max = min = score;
				}
				// 求最大值
				if (max < score) {
					max = score;
				}
				// 求最小值
				if (min > score) {
					min = score;
				}
				// 求和
				sum += score;
			}
			// 求平均分
			double avg = 1.0 * sum / count;
			
			rk.set(key);
			rv.set("max=" + max + "; min=" + min + "; avg=" + avg);
			context.write(rk, rv);
		}
		
	}

	public static void main(String[] args) throws Exception {
		// 加载配置文件
		Configuration conf = new Configuration();

		// 启动一个 job
		Job job = Job.getInstance(conf);

		// 设置主类入口
		job.setJarByClass(CourseMaxMinAndAvgScore.class);

		// 指定 MR 中 mapper 和 reducer 类
		job.setMapperClass(CourseMaxMinAndAvgScoreMapper.class);
		job.setReducerClass(CourseMaxMinAndAvgScoreReducer.class);

		// 指定 mapper 和 reducer 输出泛型
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(IntWritable.class);
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(Text.class);

		// 获取 HDFS 文件系统连接
		FileSystem fs = FileSystem.get(conf);
		// 指定测试文件路径
		Path inpath = new Path(args[0]);
		if (fs.exists(inpath)) {
			FileInputFormat.addInputPath(job, inpath);

			// 指定结果输出路径
			Path outpath = new Path(args[1]);
			if (fs.exists(outpath)) {
				fs.delete(outpath, true);
			}
			FileOutputFormat.setOutputPath(job, outpath);

		} else {
			System.out.println("指定输入文件路径不存在");
		}

		System.exit(job.waitForCompletion(true) ? 0 : 1);

	}

}

5、需求分析3

求该成绩表当中出现相同分数的分数，还有次数，以及该分数的人数
求相同科目相同分数的有多少个人 并且都是谁
返回结果的格式：
科目 分数 次数 该分数的人
例子：
computer 85 3 huangzitao,liujialing,huangxiaoming

分组： 科目 分数

map端：
key：科目+分数 Text
value：姓名 Text
reduce端：
接受的相同科目和分数的所有人的姓名
reduce(科目+分数，所有的姓名，context){
计数迭代器
迭代器姓名拼接
}

key：Text
value：人数+拼接人名   Text

6、实现3

package com.zc.hadoop.mapreduce.demo.studentscore;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;


/*
 * 3、求相同科目相同分数的有多少个人  并且都是谁
 */
public class IdenticalCourseAndScorePeopleCount {

	/*
	 * mapper
	 */
	static class IdenticalCourseAndScorePeopleCountMapper extends Mapper<LongWritable, Text, Text, Text>{

		Text mk = new Text();
		Text mv = new Text();
		@Override
		protected void map(LongWritable key, Text value, Context context)
				throws IOException, InterruptedException {
			// 拿到每一行数据进行切割
			String[] info = value.toString().split(",");
			// 去除不规则数据
			if (info.length == 3) {
				// [course,name,score]
				// key 为科目+分数
				StringBuilder sbr = new StringBuilder();
				mk.set(sbr.append(info[0].trim()).append("\t").append(info[info.length - 1].trim()).toString());
				// value 为学生姓名
				mv.set(info[1].trim());
				// 发送 reduce 端
				context.write(mk, mv);
			}
		}
		
	}
	
	/*
	 * reducer
	 */
	static class IdenticalCourseAndScorePeopleCountReducer extends Reducer<Text, Text, Text, Text>{

		Text rv = new Text();
		@Override
		protected void reduce(Text key, Iterable<Text> values, Context context)
				throws IOException, InterruptedException {
			int count = 0;
			StringBuilder sbr = new StringBuilder();
			for (Text name : values) {
				// 累加人数
				count++;
				// 人名追加
				sbr.append(name.toString()).append(",");
			}
			// 去除追加末尾的“,”,获取所有人名的拼接字符串
			String names = sbr.substring(0, sbr.length() - 1);
			
			// 输出 key: 课程 + 分数
			// 输出 vlaue: 次数 + “\t” + 人名
			rv.set(count + "\t" + names);
			context.write(key, rv);
		}
		
	}
	
	/*
	 * Driver
	 */
	public static void main(String[] args) throws Exception {
		// 加载配置文件
		Configuration conf = new Configuration();
		
		// 启动一个 job
		Job job = Job.getInstance(conf);
		
		// 设置主类入口
		job.setJarByClass(IdenticalCourseAndScorePeopleCount.class);
		
		// 指定 MR 中 mapper 和 reducer 类
		job.setMapperClass(IdenticalCourseAndScorePeopleCountMapper.class);
		job.setReducerClass(IdenticalCourseAndScorePeopleCountReducer.class);
		
		// 指定 mapper 和 reducer 输出泛型
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(Text.class);
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(Text.class);
		
		// 获取 HDFS 文件系统连接
		FileSystem fs = FileSystem.get(conf);
		// 指定测试文件路径
		Path inpath = new Path(args[0]);
		if (fs.exists(inpath)) {
			FileInputFormat.addInputPath(job, inpath);
			
			// 指定结果输出路径
			Path outpath = new Path(args[1]);
			if (fs.exists(outpath)) {
				fs.delete(outpath, true);
			}
			FileOutputFormat.setOutputPath(job, outpath);
			
		} else {
			System.out.println("指定输入文件路径不存在");
		}
		
		System.exit(job.waitForCompletion(true) ? 0 : 1);
		
	}

}

（4）将上面的统计结果按照科目不同 输出到不同的文件中

7、学习内容

上节学习内容：MapReduce 程序的核心运行机制
下节学习内容：MapReduce 常见的编程场景 1

.道不虚行
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据mapreduce案例
08-25
大数据mapreduce案例介绍，包括代码解释，详解MRS工作流程
出个题，用MapReduce解决下面的问题
06-12
用MapReduce解决下面的问题,只是出个题而已
大数据实验5实验报告：MapReduce 初级编程实践
06-20
林子雨大数据原理与技术第三版实验5实验报告 大数据技术与原理实验报告 MapReduce 初级编程实践 姓名: 实验环境：  操作系统：Linux（建议Ubuntu16.04）；  Hadoop版本：3.2.2； 实验内容与完成情况： （一）编程实现文件合并和去重操作 对于两个输入文件，即文件 A 和文件 B，请编写 MapReduce 程序，对两个文件进行合并， 并剔除其中重复的内容，得到一个新的输出文件 C。下面是输入文件和输出文件的一个样例 供参考。 输入文件 A 的样例如下：
MarReduce小练习 - 多表关联（使用静态变量）
GYT0313
11-30 205
题意： 输入文件1：地址编号-地址 输入文件2：公司-地址编号 根据两个输入文件，输出公司所在的地址。 格式如下： 1.输入文件1： address.txt: 1 Beijing 2 Guangzhou 3 Shenzhen 4 Xian 2.输入文件2： factory.txt: Beijing Red Star 1 Shenzhen Thunder 3 Gu...
MapReduce综合练习案例(把这练习会了MapReduce代码你就全搞定了)
11-26 7297
提供两个文件: information.txt: //爱好 专业 id 游戏 大数据 1 Null Java 3 学习 Null 4 逛街 全栈 2 student.txt: //id 姓名 性别 1 张三 女 2 李四 男 3 王五 女 4 赵六 男 题目要求 information.txt 上传到Hdfs student.txt 放在本地 通过distribute读取hdfs上的数据...
MarReduce小练习 - 单表关联（使用标识符）
GYT0313
12-04 236
题意： 根据儿子、父母关系，输出孙子、爷奶关系： 输入：&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp
MapReduce编程练习题目
weixin_45066966的博客
03-08 2751
MapReduce练习 源数据： Zhangsan 90 83 88 Lisi 83 76 73 Wangwu 84 81 77 Zhaoliu 77 67 Chentian 78 91 82 Liutao 83 任务：本次数据是学生数据，分别是姓名 语文成绩 数学成绩 英语成绩 在数据中，可以看出有些学生的数据只有两门，而且在数据里也出现了空行，所以本次任务是清理不符合规则的内容和空行，并...
MapReduce编程练习
qq_60317308的博客
11-12 2059
目录 编程实现按日期统计访问次数 2.编程实现按访问次数排序 获取成绩表最高分 编译jar'包方法 编程实现按日期统计访问次数 (1) 定义输入/输出格式 社交网站用户的访问日期在格式上属于文本格式，访问次数为整型数值格式。其组成的键值对为<访问日期，访问次数>，因此Mapper的输出与Reducer的输出都选用Text类与IntWritable类。 (2)Mapper 类的逻辑实现 ...
MapReduce编程
junsuyiji的博客
11-07 888
MapReduce编程
MapReduce编程练习3.0
xxydzyr的博客
09-16 589
MapReduce编程练习3.0 3.0需求：这次统计，也不排序，需要把数据按照手机归属地不同省份输出到不同文件中 问题点： 需要输出到不同的文件中 需要按手机归属地进行分组 解析： 修改reducer的数量即可输出多个文件 对于分组，Hadoop默认使用的是key的hash值对reducer个数取余分组，这里实现是通过调用默认的分组类：HashPartitioner进行分区的。 ...
MapReduce初级例程
08-24
一些MapReduce的入门程序 来自《hadoop权威指南》《hadoop in action》
mapreduce练习资源
04-03
该资源中中包含MapReduce的练习题，可以是你同过这些练习题更好的掌握MapReduce
拓思爱诺大数据-第二次作业MapReduce编程
06-24
四川大学IT企业实训，拓思爱诺大数据第二次作业，MapReduce编程，包括Hadoop wordcount程序，及flowcount流量统计程序，包括重写排序及分区函数
MapReduce分析Youtube数据内含源码以及说明书可以自己运行复现.zip
05-07
MapReduce分析Youtube数据内含源码以及说明书可以自己运行复现.zip
mapreduce基础实战.pdf
最新发布
05-23
二、MapReduce编程规范 用户编写的MapReduce程序代码通常分为三个部分：Mapper、Reducer和Driver（客户端提交作业驱动程序）。Mapper和Reducer都需要继承各自的父类，并实现相应的接口方法。 Mapper阶段 Mapper...
MarReduce小练习 - 单表关联（使用静态变量）
GYT0313
11-30 254
题意： 根据儿子、父母关系，输出孙子、爷奶关系： 输入：
MapReduce编程规范及实践（流量统计）
m0_37956825的博客
05-16 1090
一、MapReduce编码规范 Map阶段2个步骤 设置 InputFormat 类, 将数据切分为 Key-Value(K1和V1) 对, 输入到第二步 自定义 Map 逻辑, 将第一步的结果转换成另外的 Key-Value(K2和V2) 对, 输出结果 Shule 阶段 4 个步骤 对输出的 Key-Value 对进行 分区 对不同分区的数据按照相同的 Key 排序 (可选) 对分组过的数据初步 规约 , 降低数据的网络拷贝 对数据进行 分组 ,
大数据学习笔记之MapReduce作业执行流程
Zero_dot_degree的博客
09-09 1380
MapReduce作业执行流程大致可分为以下几步：①提交作业，②初始化作业，③分配任务，④执行作业，⑤更新进度和状态，⑥完成。又或者可划分为：①输入分片（input  split），②Map阶段，③combiner阶段，④shuffle阶段，⑤reduce阶段。   提交作业 主要有几个步骤： ①调用JobTracker的getNewJobId（）方法，获取作业ID。 ②检查作业相关路径...
基本的MapReduce编程方法
06-06
MapReduce是一种用于处理大规模数据集的编程模型和算法。基本的MapReduce编程方法包括...在实际的MapReduce编程中，还需要进行数据的输入输出和作业控制等操作。通常使用Hadoop等分布式计算框架来实现MapReduce编程。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值