hadoop之作业提交过程

最新推荐文章于 2022-08-31 10:15:28 发布
最新推荐文章于 2022-08-31 10:15:28 发布
阅读量1.5k 收藏
点赞数
文章标签： MapReduce split Hadoop 任务调度 框架
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jyf211314/article/details/9138871
版权
本文深入探讨了MapReduce作业如何通过Shell命令执行，作业文件上传至HDFS前的初始化步骤，以及作业如何提交到JobTracker进行调度与监控。重点介绍了作业提交流程的关键环节，包括产生InputSplit文件、权限检查、内存使用合理性验证和TaskScheduler初始化。
摘要由CSDN通过智能技术生成

1.执行Shell命令：用户编写的MapReduce程序，通过Shell命令来提交作业。

2.作业文件上传：JobClient将作业提交到JobTracker之前，需要进行一些初始化工作，例如前面所提到的调用getSplits方法将文件切分为split文件、创建HDFS目录之类的。

3.产生InputSplit文件：用户提交MapReduce作业后，JobClient会调用InputFormat的getSplits方法生成InputSplit文件信息。这些信息包含两部分：InputSplit元数据信息和原始InputSplit信息。第一部分被JobStracker使用生成Task本地性数据结构。第二部分将被Map Task初始化时使用获取处理的数据。

4.作业提交到JobTracker：JobClient通过RPC框架将作业提交到JobTracker

    为作业创建JobInProgress来监控作业的运行状态和进度

    检查用户是否具有指定队列的作业提交权限

    检查作业配置的内存使用量是否合理

    通知TaskScheduler初始化作业

姜龙
关注
Hadoop之YARN客户端向ResourceManager提交作业
qq_45115959的博客
08-18 896
编写作业: 使用 MapReduce API 或其他支持的框架（如 Spark, Flink 等）编写应用程序。打包作业: 将应用程序及其依赖打包成 JAR 文件或其他格式的归档文件。配置参数: 设置作业的配置参数，例如资源需求、队列选择等。
Hadoop的任务提交流程
qq_43662627的博客
11-01 501
Job提交流程的图 一 判定job的状态 判定job的状态 二兼容新旧Api 三判定集群环境 四 提交核心源码 生成切片信息和配置 job.xml （配置）,job.split(切片信息），jar包（本地模式不提交jar包） 提交完毕 删除缓存信息 JobStatus submitJobInternal(Job job, Cluster cluster) throws ClassNotFoundException, InterruptedException, IOException {
Hadoop作业提交多种方案具体流程详解
逸情公子
02-11 312
                                          Hadoop作业提交多种方案具体流程详解 前言： 提交hadoop作业时我们遇到了许多的问题，在网上也查过许多的文章，有许多对hadoop提交作业原理进行分析的文章，却总看不到对具体操作过程讲解的文章，导致我们在eclipse提交的作业总是在eclipse虚拟的云环境中运行。慢慢摸索中，一个一个的作业提...
Hadoop的作业提交过程
流云
04-11 232
1.JobClient调用FileInputFormat.getSplits()，如果数据文件是isSplitable()的话，会将大的文件分解成小的FileSplit,记录文件 在HDFS里的路径及偏移量和Split大小。这些信息会统一打包到jobFile的jar中。 2.JobClient然后使用submitJob(job)方法向master提交作业。submitJob(job)内部是通过...
大数据技术Hadoop之作业提交全过程
m0_58371965的博客
08-27 536
1．作业提交过程之YARN，如图所示。 作业提交全过程详解 （1）作业提交 第1步：Client调用job.waitForCompletion方法，向整个集群提交MapReduce作业。 第2步：Client向RM申请一个作业id。 第3步：RM给Client返回该job资源的提交路径和作业id。 第4步：Client提交jar包、切片信息和配置文件到指定的资源提交路径。 第5步：Client提交完资源后，向RM申请运行MrAppMaster。 （2）作业初始化 第6步：当RM收到Cl
hadoop作业提交流程分析
hsh8819的专栏
04-07 290
       本篇博客将以WordCount为例从源码上分析hadoop作业提交流程，所使用的hadoop版本为cdh4.3.0。        hadoop作业提交流程如下图所示：   public static void distribute() throws Exception { /*指定Hadoop 环境的用户名称， 如果不指定会抛org.apache.hado...
hadoop提交作业分析.doc
09-29
【Hadoop 作业提交流程详解】 在Hadoop生态系统中，提交一个MapReduce作业通常通过执行类似`bin/hadoop jar xxx.jar mainclass args`的命令来完成。这个过程看似简单，实际上涉及到了多个步骤和组件的交互。下面...
Hadoop作业提交的方法
coco_ethan的专栏
12-02 628
最近几天一直在纠结hadoop作业提交的问题，对于命令行提交作业以及在集群中提交作业这里不再赘述，不会就去Google吧！     我们在客户机提交作业的时候总是发现出错，eclipse总是报jar file not found 的错误！我们知道客户端提交任务的时候，使用方法job.setWaitForCompletion(true)的时候，这个方法会调用job的submit()方法，sub
Hadoop提交作业------>hadoop工作流程
小虹尘的博客
12-08 5556
一 、需要知道的内容 1.ResourceManager ------>yarn的老大 2.NodeManager        ------>yarn的小弟 3.ResourceManager调度器   a.默认调度器------>先进先出FIFO                                b.公平调度器------>每个任务都有执行的机会 ...... 4.心跳
hadoop的作业提交过程之yarn
qq_38603049的博客
10-25 465
作业提交过程简单的分为 6 步 （1）作业提交    第0步：client调用job.waitForCompletion方法，向整个集群提交MapReduce作业    第1步：client向RM(ResourceManager)申请(application)一个作业id    第2步：RM给client返回该job的资源的提交路径和作业id。    第3步：client提交jar包、切片信息和配...
大数据框架hadoop的作业提交过程
lingdian23的专栏
12-02 292
    作业提交过程比较简单，它主要为后续作业执行准备环境，主要涉及创建目录、上传文件等操作；而一旦用户提交作业后，JobTracker端便会对作业进行初始化。作业初始化的主要工作是根据输入数据量和作业配置参数将作业分解成若干个Map Task以及Reduce Task，并添加到相关数据结构中，以等待后续被高度执行。总之，可将作业提交与初始化过程分为四个步骤，如下所示：     步骤一：用户使...
hadoop1.X作业提交过程详细讲解
Xlucas的博客
09-08 992
**Jobclient 准备运行环境 Jobtracker 接收作业 Taskscheduler 初始化作业**作业提交： 总体来言，作业提交还是比较简单的，主要涉及创建目录、上传文件等操作；一旦用户提交了作业以后，Jobtracker端便会对作业进行初始化，初始化的作业主要是根据输入数据量和作业的配置参数将作业分解成若干个map task 和reduce task整个过程： 用户使用had
hadoop之MapReducer作业的提交执行过程
bbaiggey_bigdata的博客
12-14 981
debug信息 列出要切片的所有文件:[DeprecatedRawLocalFileStatus{path=file:/D:/a.txt; isDirectory=false; length=58; replication=1; blocksize=33554432; modification_time=1481531168562; access_time=0; owner=; group=;
【5】Yarn资源调度器
weixin_43958974的博客
02-24 284
Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台 ，而 MapReduce等运算程序则相当于运行于操作系统之上的应用程序 。 一. Yarn 资源调度器 YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。 ...
Hadoop作业提交流程详解
"Hadoop作业提交流程详解" 在Hadoop生态系统中，MapReduce是核心的分布式计算框架，负责处理大规模数据的并行计算。当开发者编写好MapReduce程序后，需要将其提交到Hadoop集群上执行。以下是Hadoop1版本中MapReduce...
Hadoop作业提交分析
豪猪的博客
06-15 165
Hadoop作业提交分析（一） Hadoop作业提交分析（二） Hadoop作业提交分析（三） Hadoop作业提交分析（四） Hadoop作业提交分析（五）
Hadoop-Yarn介绍以及作业提交流程
qichangjian的博客
02-26 1350
1）关于YARN的介绍： YARN 是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序。 2）hadoop1.x中YARN的不足： JobTracker是集群的事务的集中处理，存在单点故障 JobTracker需要完成得任务太多，既要维护job的状态又要维护job的task的状态，造成资源消...
Hadoop Yarn 概述 | 基础架构 | 工作机制 | 及作业提交全过程
lesileqin的博客
04-27 314
文章目录一、Yarn是什么？二、Yarn基础架构三、Yarn工作机制四、Yarn作业提交全过程1、HDFS、YARN、MapReduce三者关系2、Yarn作业提交过程3、HDFS 与 MapReduce 作业提交过程 一、Yarn是什么？ 在现实生产环境中，大数据处理服务器众多（如下图所示），那么如果管理集群资源、如何给任务合理的分配资源就是个问题，Yarn的作用就是解决这些问题 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程
通过java api提交自定义hadoop 作业
m0_67392661的博客
08-31 257
1.4 分区之后，对每个分区的数据进行排序，分组–排序按照从小到大进行排列，排序完毕之后，会将键值对中，key相同的选项 的value进行合并。输出的键类型，值类型；1.2 调用map进行处理–在这步使用自定义的Mapper类来实现自己的逻辑，输入的数据为1.1格式化的键值对，输入的数据也是键值对的形式。2.2 调用reduce进行处理–reduce接收的数据是整个map端处理完毕之后的键值对，输出的也是键值对的集合，是最终的结果。//key为每一个单独的单词，如：hello，world，you，me等。.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值