客户端提交MR程序job的流程

最新推荐文章于 2024-06-27 11:34:29 发布

小鸭子_嘎嘎

最新推荐文章于 2024-06-27 11:34:29 发布

阅读量1.4k

点赞数

分类专栏：大数据 mapreduce hadoop 文章标签： hadoop

本文链接：https://blog.csdn.net/Pan_Mars/article/details/66978471

版权

这篇博客总结了Hadoop客户端提交MapReduce任务的过程，包括通过Job.waitForCompletion()调用job.submit()，JobSubmitter的Cluster内部使用动态代理提交到Yarn或LocalJobRunner。流程涉及Staging目录的获取，根据jobID创建提交路径，处理切片规则，序列化FileSplit，写入job.xml，以及拷贝job的jar包到指定路径。

摘要由CSDN通过智能技术生成

这里是我自己总结的简单的描述：

Configuration conf = new Configuration();
//  conf.set("mapreduce.framework.name", "yarn");
//  conf.set("yarn.resoucemanager.hostname", "hadoop");
    Job job = Job.getInstance(conf);
    //将客户端的程序 打成jar 获取jar所在的路径 （指定本程序jar包所在的本地路径）
    job.setJarByClass(FlowCount.class);
    //指定本业务Job要使用的mapper reducer业务类
    job.setMapperClass<