源码剖析MapReduce作业提交机制(集群模式)

于 2017-08-15 23:02:04 发布 182 收藏
文章标签： Hadoop MapReduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tian_qing_lei/article/details/77203265
版权

深入剖析Hadoop 中的MapReduce作业的提交机制，有助于更深入的掌握MapReduce的工作原理，通过调优提高MapReduce性能。


缘定三石
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
MapReduce Job集群提交过程源码跟踪及分析
08-26
MapReduce Job集群提交过程源码跟踪及分析
MapReduce提交作业
aicyo8644的博客
02-28 97
步骤： 1、开发作业 2、编译项目并打成jar包，上传至HDFS 3、使用命令（脚本）启动作业 Java代码： /** * 检索关键词出现的次数 */ public class MapReduceUtils { /** * diver * * @param a [0]要解析的文件全路径 * ...
Apache Yarn MapReduce作业提交流程
猫君之上的博客
03-20 184
1）客户端向ResourceManager发送提交job的请求 2）ResourceManager向客户端返回一个job_id以及一个共享资源路径。 job_id job__系统时间戳_ _编号 共享资源路径 jar包里面包含maptask与reducetask,要想在所有节点上运行，那么必须将jar包上传到hdfs上（临时存储） ​ 默认路径：/tmp/hadoop-yarn/s...
大数据之mapreduce作业在Yarn上提交流程
lxhjava的博客
04-17 1375
提交作业流程图： 各自任务： 1、客户端，提交MapReduce作业 2、YARN的资源管理器（Resource Manager），协调集群中计算资源的分配 3、YARN的节点管理器（Node Manager），启动并监控集群中的计算容器 4、MapReduce的Application Master，协调MapReduce作业中任务的运行。Application Master和Map...
源码剖析MapReduce作业提交机制(本地模式)
tianqinglei的博客
08-15 205
深入剖析Hadoop 中的MapReduce作业的提交机制，有助于更深入的掌握MapReduce的工作原理，通过调优提高MapReduce性能。 （请放大后查看）
MapReduce程序的几种提交运行模式
qq_18142501的博客
06-04 228
本地模型运行1、在windows的eclipse里面直接运行main方法，就会将job提交给本地执行器localjobrunner执行      ----输入输出数据可以放在本地路径下（c:/wc/srcdata/）      ----输入输出数据也可以放在hdfs中(hdfs://weekend110:9000/wc/srcdata)            2、在linux的eclipse里面直...
基于MapReduce作业拆分组合机制的并行ETL组件实现.pdf
06-07
基于MapReduce作业拆分组合机制的并行ETL组件实现.pdf基于MapReduce作业拆分组合机制的并行ETL组件实现.pdf基于MapReduce作业拆分组合机制的并行ETL组件实现.pdf基于MapReduce作业拆分组合机制的并行ETL组件实现.pdf...
MapReduce作业运行流程
01-07
基本概念 MapReduce采用了Master/Slave架构，包括一个Master和若干个Slave，Master上运行JobTracker，Slave运行TaskTracker ...3.将运行作业所需要的资源文件复制到HDFS上，包括MapReduce程序打包的JAR文件、
MapReduce源码分析总结
01-30
Map/Reduce是一个用于大规模数据处理的分布式计算模型，它最初是由Google工程师设计并实现的，Google已经将它完整的MapReduce论文公开发布了。其中对它的定义是，Map/Reduce是一个编程模型（programmingmodel），是...
MapReduce的模式、算法和用例
03-04
在这篇文章里总结了几种网上或者论文中常见的MapReduce模式和算法，并系统化的解释了这些技术的不同之处。所有描述性的文字和代码都使用了标准hadoop的MapReduce模型，包括Mappers,Reduces,Combiners,Partitioners,...
MapReduce保姆级教程源码
04-26
简单数据分析
mapreduce 实现朴素贝叶斯算法-源码
06-25
基于hadoop2.0，mapreduce实现朴素贝叶斯算法，源码，NaieBayes 基于hadoop2.0，mapreduce实现朴素贝叶斯算法，源码，NaieBayes
MapReduce 设计模式
03-19
MapReduce 设计模式，深入理解MapReduce编程模式，更好的利用MapReduce模型
mapreduce 设计模式
08-16
书中主要介绍编程模式，即如何利用MapReduce框架解决一类问题，重在提供解决问题的方法和思路。作者花大量篇幅介绍各种模式的原理及实现机制，并给出相应的应用实例，让读者对每种模式能有更直观的理解。
支持大规模流数据处理的在线MapReduce数据传输机制
03-31
基于Event推送方式,利用Netty底层异步通信方式等技术,建立在线MapReduce数据传输机制,进一步实现其原型程序,解决了大规模分布式计算程序的快速在线传输和数据分发等问题,支持流数据动态分发机制,为动态MapReduce模型...
MapReduce设计模式
03-03
作者花大量篇幅介绍各种模式的原理及实现机制，并给出相应的应用实例，让读者对每种模式能有更直观的理解。, 由于本书不会过多涉及底层框架及MapReduce API，所以希望读者阅读《MapReduce设计模式》之前，能够对...
Hadoop集群搭建部署与MapReduce程序关键点个性化开发.doc
02-26
并通过Eclipse进行MapReduce程序的开发，步骤详细完整，在相关过程中配有完整代码和解释，全程无误，只需复制粘贴即可，小白新手按步骤一步一步来也能搭建Hadoop集群成功并进行MapReduce程序开发！！！喜欢请关注...
Flume日志收集与MapReduce模式
07-23
资源名称：Flume日志收集与MapReduce模式资源截图： 资源太大，传百度网盘了，链接在附件中，有需要的同学自取。
【MapReduce篇05】MapReduce之Shuffle机制1
08-04
（1）如果 Reduce Task的数量> getPartition的结果数，则会多产生几个空的输出文件part-r-000Xx （2）如果1< ReduceT
java程序提交mapreduce
最新发布
03-27
作业 由于本人是AI语言模型，无法提交Java程序，但是可以提供Java程序的基本框架和示例代码供您参考： MapReduce程序基本框架： ``` import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.*; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class WordCount { public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> { private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(Object key, Text value, Context context) throws IOException, InterruptedException { StringTokenizer itr = new StringTokenizer(value.toString()); while (itr.hasMoreTokens()) { word.set(itr.nextToken()); context.write(word, one); } } } public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> { private IntWritable result = new IntWritable(); public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } result.set(sum); context.write(key, result); } } public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "word count"); job.setJarByClass(WordCount.class); job.setMapperClass(TokenizerMapper.class); job.setCombinerClass(IntSumReducer.class); job.setReducerClass(IntSumReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } } ``` 示例代码： ``` import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.*; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class WordCount { public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> { private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(Object key, Text value, Context context) throws IOException, InterruptedException { StringTokenizer itr = new StringTokenizer(value.toString()); while (itr.hasMoreTokens()) { word.set(itr.nextToken()); context.write(word, one); } } } public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> { private IntWritable result = new IntWritable(); public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } result.set(sum); context.write(key, result); } } public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "word count"); job.setJarByClass(WordCount.class); job.setMapperClass(TokenizerMapper.class); job.setCombinerClass(IntSumReducer.class); job.setReducerClass(IntSumReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } } ``` 使用命令行提交MapReduce作业： 1. 将示例代码保存为WordCount.java文件 2. 在命令行中使用以下命令进行编译： ``` javac -classpath `yarn classpath` WordCount.java ``` 3. 打包： ``` jar -cvf WordCount.jar *.class ``` 4. 提交MapReduce作业： ``` yarn jar WordCount.jar WordCount /input /output ``` 其中，/input是输入文件的路径，/output是输出文件的路径。 运行完成后，在输出文件夹中查看结果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

缘定三石

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额：-- )
扫码支付
扫码支付：¥2
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。

余额充值