Hadoop构建MapRedcue程序的基础模板

最新推荐文章于 2022-10-18 12:31:58 发布
最新推荐文章于 2022-10-18 12:31:58 发布
阅读量581 收藏
点赞数
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012500825/article/details/38707721
版权

        好记性不如烂笔头，虽然《Hadoop in Action》书上已经讲得够详细了，但是对于本菜鸟来说，还是想再写一遍。这是这本书的第二部分第一个程序，要实现将专利数据进行倒排，程序代码如下：

         

import java.io.IOException;  
import java.util.Iterator;  
import org.apache.hadoop.conf.Configuration;  
import org.apache.hadoop.conf.Configured;  
import org.apache.hadoop.fs.Path;  
import org.apache.hadoop.io.Text;  
import org.apache.hadoop.mapred.FileInputFormat;  
import org.apache.hadoop.mapred.FileOutputFormat;  
import org.apache.hadoop.mapred.JobClient;  
import org.apache.hadoop.mapred.JobConf;  
import org.apache.hadoop.mapred.KeyValueTextInputFormat;  
import org.apache.hadoop.mapred.MapReduceBase;  
import org.apache.hadoop.mapred.Mapper;  
import org.apache.hadoop.mapred.OutputCollector;  
import org.apache.hadoop.mapred.Reducer;  
import org.apache.hadoop.mapred.Reporter;  
import org.apache.hadoop.mapred.TextOutputFormat;  
import org.apache.hadoop.util.Tool;  
import org.apache.hadoop.util.ToolRunner;

public  class MyJob extends Configured implements Tool{
	public static class MapClass extends MapReduceBase implements Mapper<Text, Text, Text, Text>{
		public void map(Text key, Text value,
						OutputCollector<Text, Text> output,
						Reporter reporter) throws IOException{
			output.collect(value, key);
		}
	}

	public static class Reduce extends MapReduceBase implements Reducer<Text, Text, Text, Text>{
		public  void  reduce(Text key, Iterator<Text> values,
							 OutputCollector<Text, Text> output,
							 Reporter reporter) throws IOException{
			String csv = "";
			while(values.hasNext()){
				if(csv.length() > 0) csv += ",";
				csv += values.next().toString();
			}
			output.collect(key, new Text(csv));
		}
	}

	public int  run(String[] args) throws IOException{
		Configuration conf = getConf();

		JobConf job = new JobConf(conf, MyJob.class);

		Path in = new Path(args[0]);
		Path out = new Path(args[1]);
		FileInputFormat.setInputPaths(job,in);
		FileOutputFormat.setOutputPath(job,out);

		job.setJobName("MyJob");
		job.setMapperClass(MapClass.class);
		job.setReducerClass(Reduce.class);

		job.setInputFormat(KeyValueTextInputFormat.class);
		job.setOutputFormat(TextOutputFormat.class);
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(Text.class);
		job.set("key.value.separator.in.input.line", ",");

		JobClient.runJob(job);

		return 0;
	}

	public static void  main(String[] args) throws Exception{
		int  res = ToolRunner.run(new Configuration(), new MyJob(), args);
		System.exit(res);
	}
}

        值得注意的是Hadoop要求Mapper和Reducer必须是他们自身的静态类。

        抽去Mapper和Reducer类之后，MyJob的主体框架如下：

    

public  class MyJob extends Configured implements Tool{
	public int  run(String[] args) throws IOException{
		Configuration conf = getConf();

		JobConf job = new JobConf(conf, MyJob.class);

		Path in = new Path(args[0]);
		Path out = new Path(args[1]);
		FileInputFormat.setInputPaths(job,in);
		FileOutputFormat.setOutputPath(job,out);

		job.setJobName("MyJob");
		job.setMapperClass(MapClass.class);
		job.setReducerClass(Reduce.class);

		job.setInputFormat(KeyValueTextInputFormat.class);
		job.setOutputFormat(TextOutputFormat.class);
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(Text.class);
		job.set("key.value.separator.in.input.line", ",");

		JobClient.runJob(job);

		return 0;
	}

	public static void  main(String[] args) throws Exception{
		int  res = ToolRunner.run(new Configuration(), new MyJob(), args);
		System.exit(res);
	}
}
       上面的run()方法也叫driver，担负实例化、配置并传递一个JobConf对象命名的作业给JobClient.runJob()已启动MapReduce作业。JobConf对象将保持作业运行需要的全部参数，run()方法也就是担任定制包括输入输出路径、Mapper、Reducer类的角色，当然还有重置默认配置，可用其set()方法配置任意参数。最后JobConf被传到JobClient.runJob(),这就实现了作业的整体规划。

       就写这些吧。

       运行结果：

。。。。

14/08/20 16:01:00 INFO mapred.Merger: Down to the last merge-pass, with 10 segments left of total size: 70597223 bytes
14/08/20 16:01:01 INFO mapred.LocalJobRunner: hdfs://localhost:9000/user/hadoop/input/cite75_99.txt:201326592+62748839
14/08/20 16:01:04 INFO mapred.LocalJobRunner: hdfs://localhost:9000/user/hadoop/input/cite75_99.txt:201326592+62748839
14/08/20 16:01:07 INFO mapred.LocalJobRunner: hdfs://localhost:9000/user/hadoop/input/cite75_99.txt:201326592+62748839
14/08/20 16:01:08 INFO mapred.TaskRunner: Task:attempt_local_0001_m_000003_0 is done. And is in the process of commiting
14/08/20 16:01:08 INFO mapred.LocalJobRunner: hdfs://localhost:9000/user/hadoop/input/cite75_99.txt:201326592+62748839
14/08/20 16:01:08 INFO mapred.TaskRunner: Task 'attempt_local_0001_m_000003_0' done.
14/08/20 16:01:08 INFO mapred.LocalJobRunner:
14/08/20 16:01:08 INFO mapred.Merger: Merging 4 sorted segments
14/08/20 16:01:08 INFO mapred.Merger: Down to the last merge-pass, with 4 segments left of total size: 297120317 bytes
14/08/20 16:01:08 INFO mapred.LocalJobRunner:
14/08/20 16:01:14 INFO mapred.LocalJobRunner: reduce > reduce
14/08/20 16:01:15 INFO mapred.JobClient:  map 100% reduce 72%
14/08/20 16:01:17 INFO mapred.LocalJobRunner: reduce > reduce
14/08/20 16:01:18 INFO mapred.JobClient:  map 100% reduce 75%
14/08/20 16:01:20 INFO mapred.LocalJobRunner: reduce > reduce
14/08/20 16:01:21 INFO mapred.JobClient:  map 100% reduce 79%
14/08/20 16:01:23 INFO mapred.LocalJobRunner: reduce > reduce
14/08/20 16:01:24 INFO mapred.JobClient:  map 100% reduce 83%
14/08/20 16:01:26 INFO mapred.LocalJobRunner: reduce > reduce
14/08/20 16:01:27 INFO mapred.JobClient:  map 100% reduce 87%
14/08/20 16:01:29 INFO mapred.LocalJobRunner: reduce > reduce
14/08/20 16:01:30 INFO mapred.JobClient:  map 100% reduce 92%
14/08/20 16:01:32 INFO mapred.LocalJobRunner: reduce > reduce
14/08/20 16:01:33 INFO mapred.JobClient:  map 100% reduce 96%
14/08/20 16:01:35 INFO mapred.LocalJobRunner: reduce > reduce
14/08/20 16:01:36 INFO mapred.JobClient:  map 100% reduce 99%


。。。。


生成文件如下：

"CITED"    "CITING"
1    3964859,4647229
10000    4539112
100000    5031388
1000006    4714284
1000007    4766693
1000011    5033339
1000017    3908629
1000026    4043055
1000033    4190903,4975983
1000043    4091523
1000044    4082383,4055371
1000045    4290571
1000046    5525001,5918892
1000049    5996916
1000051    4541310
1000054    4946631
1000065    4748968
1000067    4944640,5071294,5312208
1000070    5009029,4928425
1000073    4107819,5474494
1000076    4867716,5845593
1000083    5322091,5566726

圣骐
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop 实战之分析专利引用数据集（二）
xiaotom5的专栏
10-19 6527
大家好，今天给大家介绍一下Mapreduce新旧API的改变，并用新的Api的实现了Hadoop 实战之分析专利引用数据集（一）中计算专利引用数据并排序同样的功能 Hadoop最新版本的MapReduce Release 0.20.0的API包括了一个全新的Mapreduce JAVA API，有时候也称为上下文对象。 　　新的API类型上不兼容以前的API，所以，以前的应用程序需要重写才
Hadoop开发工程师简历模板
10-16
大数据Hadoop开发工程师简历模板
Hadoop 常见错误处理
wisgood的专栏
12-06 2537
【错误1】 12/12/05 23:11:45 INFO mapred.Merger: Down to the last merge-pass, with 2 segments left of total size: 791 bytes 12/12/05 23:11:45 INFO mapred.LocalJobRunner: 12/12/05 23:11:45 WARN mapred
Mapeduce编程八大步骤
weixin_34408717的博客
11-24 122
Mapreduce编程八大步 1.1:指定读取的文件位于哪里 FileInputFormat.setInputPaths() 指定如何对输入文件进行格式化，把输入文本每一行解析为键值对 job.setInputFormatClass()1.2：指定自定义的Map类 job.setMapperClass() //map输出的<k,v>类型，如...
Hadoop2.7的配置部署及测试
weixin_33812433的博客
10-03 116
1.环境准备: 安装Centos6.5的操作系统 下载hadoop2.7版本的软件 wget http://124.205.69.132/files/224400000162626A/mirrors.hust.edu.cn/apache/hadoop/common/stable/hadoop-2.7.1.tar.gz 下载jdk1.87版本的软件 wget http://do...
Hadoop MapReduce进阶 使用DataJoin包实现Join
jokes000的专栏
12-17 7541
概念： Hadoop有一个叫DataJoin的包为Data Join提供相应的框架。它的Jar包存在于contrib/datajoin/hadoop-*-datajoin。 为区别于其他的data join技术，我们称其为reduce-side join。（因为我们在reducer上作大多数的工作） reduce-side join引入了一些术语及概念：             1.Dat
Hadoop生态上几个技术的关系与区别：hive、pig、hbase 关系与区别
知识的力量
11-07 1053
原贴：http://blog.csdn.net/chengxuyuanyonghu/article/details/65443067?locationNum=5&fps=1 Pig 一种操作hadoop的轻量级脚本语言，最初又雅虎公司推出，不过现在正在走下坡路了。当初雅虎自己慢慢退出pig的维护之后将它开源贡献到开源社区由所有爱好者来维护。不过现在还是有些公司在
Hive、Pig、HBase的关系与区别，值得收藏！
热门推荐
03-04 1万+
欢迎关注大数据和人工智能技术文章发布的微信公众号：清研学堂，在这里你可以学到夜白（作者笔名）精心整理的笔记，让我们每天进步一点点，让优秀成为一种习惯！ Pig 一种操作hadoop的轻量级脚本语言，最初又雅虎公司推出，不过现在正在走下坡路了。当初雅虎自己慢慢退出pig的维护之后将它开源贡献到开源社区由所有爱好者来维护。不过现在还是有些公司在用，不过我认为与其使用pig不如使用hive。：） ...
MapReduce NativeTask优化详解
Dreamershi的专栏
04-27 2722
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 基本介绍 NativeTask 是 Hadoop MapReduce 的高性能 C++ API 和运行时。为什么叫 NativeTask 是因为它是一个只专注于数据处理的原生计算单元，这正是 Task 在 Hadoop MapReduce 上下文中所做的事情。换句话说，NativeTask 不负责资源管理、作业调度和.
Hive入门详解操作
githubcurry
10-18 3657
FaceBook网站每天产生海量的结构化日志数据，为了对这些数据进行管理，并且因为机器学习的需求，产生了hive这门技术，并继续发展成为一个成功的Apache项目。hive是一个构建在Hadoop上的数据仓库工具(框架)，可以将结构化的数据文件映射成一张数据表，并可以使用类sql的方式来对这样的数据文件进行读，写以及管理（包括元数据）。这套HIVE SQL 简称HQL。hive的执行引擎可以是MR、spark、tez。如果执行引擎是MapReduce的话，hive会将Hql翻译成MR进行数据的计算。 用户可
Hadoop构建数据仓库实践1_hadoop_
10-03
Hadoop构建数据仓库实践1——王雪迎
Hadoop大数据开发基础-PPT课件
最新发布
04-05
Hadoop大数据开发基础-PPT课件
Hadoop大数据开发基础.rar
10-14
文档为PPT，与百度文库里的Hadoop大数据开发基础为一套，里面内容相对比较基础~可做基础学习资料PPT。 【实例截图】 【核心代码】 Hadoop大数据开发基础-PPT课件 └── 37066-Hadoop大数据开发基础-PPT课件 ├── ...
hadoop map 100% reduce0%就卡住了,解决办法
逸兴遄飞的专栏
07-04 7558
今日转ubuntu下学习hadoop，但是很不
hadoop第一个程序PutMerge
逸兴遄飞的专栏
08-18 687
前一阵子没有继续学习hadoop了，有些生疏，重新开始需
ubuntu下eclipse配置hadooop
逸兴遄飞的专栏
08-20 616
表示每次都编码完成之后都接啊擦
hadoop in action第四章代码总结(hadoop 0.20的API)
逸兴遄飞的专栏
08-21 553
《Hadoop in Action》一书大部分代码都是基于哈
Hadoop的woldcount终于好使了
逸兴遄飞的专栏
06-29 496
前几天偶然在学校学长那里买了一本Hadoop的书，于是想学习一下
用Hadoop构建电影推荐系统实现的程序
06-09
构建电影推荐系统的程序可以分为多个步骤，其中Hadoop可以用来处理大量的数据，例如用户历史记录和电影数据。以下是一个简单的Hadoop实现的电影推荐系统的程序流程： 1. 数据收集：收集用户的历史记录和电影数据，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值