Hadoop---MR的Job提交源码---(源码篇一)

最新推荐文章于 2022-07-12 08:32:35 发布
最新推荐文章于 2022-07-12 08:32:35 发布
阅读量456 收藏 1
点赞数
分类专栏： Hadoop 文章标签： hadoop mapreduce 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45284133/article/details/105610132
版权
本文详细剖析了Hadoop MapReduce (MR) 作业的提交过程，从源码层面探讨MR的工作原理。首先介绍了获取配置信息的步骤，然后讲解如何根据配置决定在本地还是YARN运行。接着，深入submitJobInternal()方法，依次检查作业输出路径，生成Job的临时目录和ID，复制并配置文件，生成切片信息，并设置MapTask数量，最后提交Job并删除临时工作目录。
摘要由CSDN通过智能技术生成

MR的Job提交源码

刨析一遍切片原理
以源码角度，来深刻理解MR工作原理。
MR源码分析：（wordCount案例）–入口类

问题：
MR中的Job，是如何提交的
首先：
DeBug流程走一波。
在这里插入图片描述
进入提交作业方法：
在这里插入图片描述
在这里插入图片描述
它这里做了一件事，获取了配置信息，思考题：什么配置信息？不会可以留言
在这里插入图片描述
通过YarnClientProtocolProvider | LocalClientProtocolProvider 根据配置文件的参数信息
获取当前job需要执行到本地还是Yarn
最终:LocalClientProtocolProvider ==> LocalJobRunner

最低0.47元/天 解锁文章
滴滴三里屯VIP
关注
专栏目录
Hadoop-MapReduce-学习资料及文档.zip
10-02
内容概要： mr执行笔记； mapreduce框架的规范； wc流程.xls； wordcount的伪代码； yarn提交job的源码流程； YARN中提交job的详细流程； 打开流的关键代码； 打开流的调用流程； 日志格式；
Mapreduce学习（二）——mr程序提交的流程+yarn框架的资源调度
qq_32695789的博客
12-16 652
上篇文章简单写了一个mr程序并且提交至咱们的集群中运行。这篇文章给大家带来mr具体的流程以及进程的变化过程 我们运行sh.start-all.sh 时进程会出现  其中DataNode、NameNode、SecondaryNameNode属于HDFS的进程用于管理文件存储 ResourceManager（下面称RM）和NodeManager（下面称NM）属于yarn框架的进程 一、提交...
MR作业提交全过程
AHincsdn的博客
08-09 2258
client调用job.waitForCompletion方法，向整个集群提交MapReduce作业 (第1步) 。 新的作业ID(应用ID)由资源管理器分配(第2步). 作业的client核实作业的输出, 计算输入的split,将作业的资源(包括Jar包, 配置文件, split信息)拷贝给HDFS(第3步). 最后, 通过调用资源管理器的submitApplication()来提交作业(第4步). 当资源管理器收到submitApplication()的请求时, 就将该请求发给调度器(sch
Job流程：提交MR-Job过程
weixin_30808693的博客
08-20 268
1.一个标准 MR-Job 的执行入口： //参数 true 表示检查并打印 Job 和 Task 的运行状况 System.exit(job.waitForCompletion(true) ? 0 : 1); 2.job.waitForCompletion(true)方法的内部实现： //job.waitForCompletion()方法的内部实现 public boole...
客户端提交MR程序job的流程
Pan_Mars的博客
03-27 1479
这里是我自己总结的简单的描述：Configuration conf = new Configuration(); // conf.set("mapreduce.framework.name", "yarn"); // conf.set("yarn.resoucemanager.hostname", "hadoop"); Job job = Job.getInstance(conf);
MR | Mapreduce Job提交过程
qq_44249833的博客
05-06 364
以本地模式的WordCount为例。 public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException { args = new String[] {"d:/input/wordcount/inputword.txt", "d:/output"};...
Hadoop MapReduce实现tfidf源码
05-18
此外，还需要配置Job参数，如输入路径、输出路径、Mapper和Reducer类等，并提交Job到Hadoop集群执行。 压缩包中的"tfidf"文件可能是包含源代码、测试数据或者运行结果的文件。源代码可能包含了Mapper和Reducer的...
hadoop-examples:https
05-29
6. **Hadoop Shell 命令**：学习如何使用 Hadoop 提供的各种命令行工具，如 hdfs dfs 命令进行文件操作，以及 mr-jobhistory 命令查看作业历史。 7. **数据处理框架**：除了基本的 MapReduce，还可能涉及到 Pig、...
hadoop 源码解析_yarn源码解析
06-06
在 MR 程序提交到 ResourceManager 后，ResourceManager 会创建一个 Application 对象，用于管理 MR 程序的执行。 5. mrAppMaster mrAppMaster 是 MR 程序的主進程，负责管理 MR 任务的执行，包括任务的分配、执行...
Linux-Hadoop-安装和操作指南(内涵代码，工具，以及文档指南)
07-27
2. MapReduce工具：如`job`命令跟踪作业进度，`mr-jobhistory-daemon`监控JobHistory日志。 3. 其他工具：包括Hadoop命令行工具、Hadoop的Web界面（如ResourceManager、NodeManager和DataNode的WebUI）以及Hadoop的...
【hadoop】进阶篇一：MapReduce之Job的提交
行路中
12-19 516
Wordcount的例子基本接触过hadoop都会跑过，本篇的主要分析都以Wordcount为例。 我们先把etc/hadoop/下配置文件作为Wordcount的输入 hadoop fs -put etc/hadoop/* /input 然后打开调试运行以下命令 hadoophadoop-mapreduce-examples-xxx.jar wordcount /input /output 我们...
hadoop源码阅读（二）（Job提交源码)
qq_43585580的博客
07-12 251
hadoop源码2
hadoop源码解析-Job提交
专注Java（全栈）应用开发，求知若渴，虚心若愚，talk is cheap, show me the code.
06-06 249
hadoop源码解析-Yarn源码解析5.1 Job 提交流程源码和切片源码详解 1）Job 提交流程源码详解 waitForCompletion() submit();// 1 建立连接 connect(); // 1）创建提交 Job 的代理 new Cluster(getConfiguration()); // （1）判断是本地运行环境还是 yarn 集群运行环境 initialize(jobTrackAddr, conf);// 2 提交 job submitter.submitJobInterna
Hadoop生态圈（二十七）- MapReduce Job提交源码分析
程序园@大Null
02-06 1091
IntelliJ IDEA Debug工具的使用，Debug环境准备，MapReduce Job提交源码追踪，MapReduce程序入口方法，job.waitForCompletion，job.submit，connect，Cluster，initialize，ClientProtocolProvider，LocalClientProtocolProvider，YarnClientProtocolProvider，submitJobInternal，Debug代码：MR经典入门案例WordCount
Hadoop整个MR的过程源码解析（一）-客户端任务的提交
Galaxy_songypd的博客
11-27 929
MapReduce的整个过程包含了客户端提交任务，map端的输入输出，reduce的shuffle，sort，reduce的几个过程组成的，本篇从刚开始的客户端任务提交过程开始进行源码的解释； client的操作主要是集中在一下几个方法之中； 方法入口； 进入submitter的方法中； JobStatus submitJobInternal(Job job, Cluster clu...
Hadoop实践（三）---MR作业运行（源码详解）
狮锅艺
05-25 2120
源码解析MapReduce作业处理过程
Hadoop学习笔记[7]-MapReduce运行源码分析
unlock的博客
02-12 495
Hadoop学习笔记[7]-MapReduce运行源码分析   分布式计算框架的过人之处在于可以让我们像写单机程序一样写分布式计算程序，只需要关注业务逻辑即可，剩下的事情，框架会帮我们做，前面文章也说了，虽然MR是个感觉有点“过时”的产品，但是其思想和结构相对简单，很容易理解，且是个划时代的产品，所以我们没理由看不起它   本文将介绍MR运行流程中的核心源码，因为对资源管理这部分不熟，so，跳过yarn???? 1、MR客户端提交源码分析   客户端最重要的工作就是根据需要处理的文件名称，从HDFS获取文件
Hadoop提交任务源码分析
ZYN的博客
12-16 501
文章目录hadoop提交流程源码1、源码流程2、提交任务过程中主要事项 hadoop提交流程源码 1、源码流程 //进入Job类的waitForCompletion()方法 waitForCompletion() submit(); // 1建立连接 connect(); // 1）创建提交Job的代理 new Cluster(getConfiguration()); // （1）判断是本地运行环境还是yarn集群运行环境 initialize(jobTrackAddr, co
Hadoop----MR(Map与Job的联系源码)----(源码篇二)
weixin_45284133的博客
04-19 331
MR–Map源码 要是看提交任务和map是怎么连通的 需要从提交任务这边找到最后提交任务那里 由此进入 走到这一步，点击submitJob进入 这个job 继承了thread new的时候 下面调用了一个start 开启线程 所以job里面的run方法 被调用 ，进入本地实现类中。 线程启动在这里，我们去寻找一下run 我们直接找对应的run方法，线程的真正开启，是线程的run方法 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值