MapReduce工作笔记——Job调度参数设置

最新推荐文章于 2022-01-20 20:39:54 发布
最新推荐文章于 2022-01-20 20:39:54 发布
阅读量2.4k 收藏 2
点赞数 2
分类专栏： # 3.1 Hadoop 文章标签： mapreducer mr 调度参数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wcy23580/article/details/84992781
版权
这是一篇关于MapReduce工作的笔记，详细介绍了JobName的设定、Reduce任务数量的调整、Job任务并发数的控制、任务失败比例的设置、任务优先级的设定、任务超时时间的配置以及预测执行等关键参数，旨在优化MapReduce作业的调度效率。
摘要由CSDN通过智能技术生成

文章目录

MapReduce工作笔记 系列目录：MapReduce工作笔记——目录

1. JobName

指定有意义JobName, 一般是自己的名字+Job作用。

mapred.job.name="xxx_test"

2. Reduce的个数

说明1

mapred.reduce.tasks

3. Job的task并发数

#  mapper
mapred.job.max.map.running

#  reducer
mapred.job.max.reduce.running

4. 设置Job的失败比例

最低0.47元/天 解锁文章
CongyingWang
关注
专栏目录
MapReduce工作笔记——目录
Congying-Wang的博客
11-28 1470
MapReduce工作笔记 MapReduce工作笔记——Hadoop MR Streaming通用模板
Hadoop学习笔记（老版本，YARN之前），MapReduce任务Namenode DataNode Jobtracker Tasktracker之间的关系...
aijia7039的博客
07-26 281
一、基本概念 　　在MapReduce中，一个准备提交执行的应用程序称为“作业（job）”，而从一个作业划分出的运行于各个计算节点的工作单元称为“任务（task）”。此外，Hadoop提供的分布式文件系统（HDFS）主要负责各个节点的数据存储，并实现了高吞吐率的数据读写。 　　在分布式存储和分布式计算方面，Hadoop都是用主/从（Master/Slave）架构。在一个配置完整的集群...
hadoop2 如何在执行mapreduce的时候指定job的名字
www.hohode.com
01-06 1632
如果想在执行mapreduce的时候指定job的名字,则在 public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); String[] otherArgs = new GenericOptionsParser(conf,args).ge
MapReduce之job配置信息介绍
m0_43405302的博客
01-05 1317
一.job hadoop中的MapReduce可以使用Java进行MapReduce的逻辑撰写。其中就需要job进行相关配置。job作为MapReduce的配置信息以及启动项直接打包成jar包，hadoop可以运行这个jar包实现mapreduce的功能。本文主要从源码中，将job的配置项信息提取出来，希望对大家对于hadoop的学习和工作有所帮助。 二、job的方法详细介绍 返回值 方法 描述 String getTrackingURL() 获取将显示某些作业进度信息的 URL Str
MapReduce作业配置参数
qiezikuaichuan的专栏
06-29 2684
可在客户端的mapred-site.xml中配置，作为MapReduce作业的缺省配置参数。也可以在作业提交时，个性化指定这些参数。 参数名称 缺省值 说明 mapreduce.job.name   作业名称 mapreduce.job.priority NORMAL 作业优先级 yarn.app.mapreduce.am.resource.
6. MapReduce中作业（Job）、任务（task）的一生概览
庐州小白的博客
10-27 2809
本节内容完全来自 深入理解大数据：大数据处理与编程实践 机械工业出版社 没啥好说的，直接上内容 一、作业 首先， 用户程序客户端通过作业客户端接口程序JobClient提交一个用户程序。 然后JobClient向JobTracker提交作业执行请求并获得一个Job ID。 JobClient同时也会将用户程序作业和待处理的数据文件信息准备好并存储在HDFS中。 JobClient正式向JobTracker提交和执行该作业。 JobTracker接受并调度该作业，并进行作业的初始化准备工作， 根据待处理数
MapReduce基础笔记
zhizhong0209的博客
12-02 366
MapReduce编程模型MapReduce编程模型一、 MapReduce知识要点1. MapReduce编程模型1.1 Map阶段1.2 Reduce阶段1.3 Map&Reduce2. MapReduce编程示例2.1 MapReduce原理2.2 MR中key的作用2.3 创建MAVEN工程2.4 MR参考代码2.5 本地运行2.6 集群运行2.7 总结3. WEB UI查看结果3.1 Yarn3.2 HDFS结果4. MapReduce编程：数据清洗4.1 需求4.2 数据结构4.3 逻辑
提高hadoop的mapreduce job效率笔记
08-07
除了上述参数，还有其他 Job 配置可以优化，如设置适当的`mapreduce.task.io.sort.mb`（排序缓冲区大小）和`mapreduce.reduce.shuffle.parallelcopies`（并行复制副本数），以及启用压缩以减少中间数据的存储空间。...
学习笔记——CDH
Y_BigFFFFFF的博客
03-24 679
这几天学习了ApacheHadoop的大数据平台Cloudera Manager，不同于我之前使用的华为的大数据平台FusionInsight Manger，华为的大数据平台更加倾向于国企、政府公安还有一些大型公司，它的特点如下：1、可使用性高，华为研发人员已经把大数据平台封装好再去投入生产。2、后期售后质量高，当集群出现故障的时候，会有专门的运维人员进行维护。3、大数据平台性能高、稳定性好，一...
hadoop技术内幕_Hadoop基础MapReduce程序的执行流程
weixin_39629075的博客
11-30 230
MapReduce程序从提交到执行是一个很复杂的过程，以下将分别讨论MapReduce1.0和Yarn环境下的任务提交和执行过程。一、MapReduce程序提交方式 以Hadoop Shell方式为例，提交MapReduce命令如下： $HADOOP_HOME/bin/hadoopappname.jar -D mapred.job.name=” testappname...
mapred代码示例--带命令行参数运行job
jsh0401的专栏
09-01 314
package cmd; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.map...
《Hadoop与大数据挖掘》一2.3.3　MapReduce常用命令mapred job
weixin_34233679的博客
06-26 266
本节书摘来华章计算机《Hadoop与大数据挖掘》一书中的第2章 ，第2.3.3节，张良均　樊　哲　位文超　刘名军 许国杰　周　龙　焦正升　著 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.3.3　MapReduce常用命令mapred job MapReduce常用命令就是job相关命令，该命令相关参数及描述如代码清单2-20所示。 代码清...
Hadoop之mapred
Acer12138的博客
08-15 594
Hadoop之Mapred 1.1 Mapred的大致流程 1.2Mapred的详细流程 文件File：文件要存储在HDFS中，每个文件切分成多个一定大小（默认64M）的Block（默认3个备份）存储在多个节点（DataNode）上。文件数据内容：We are studying at school.\n We are studying at school.\n… 输入和拆分：不属于map和reduce的主要过程，但属于整个计算框架消耗时间的一部分，该部分会为正式的map过程准备数据。 （split）
mapred.YARNRunner: Job jar is not present. Not adding any jar to the list of resources.
东语的专栏
02-04 2544
mapred.YARNRunner: Job jar is not present. Not adding any jar to the list of resources.解决方案
hadoop的mapreducer处理数据（Python）
xzpdxz的博客
03-20 678
1.hadoop客户端环境 1.直接找有hadoop服务的机器，这样你访问的就是本机的hadoop集群，也就不用在配置了 2.如果你要远程其他hadoop集群，那么你需要配置相关文件，配置方式如同配置hadoop集群一样 hadoop集群搭建详见：https://blog.csdn.net/xzpdxz/article/details/86692631 修改相应的配置 注意确保你的环境有j...
hadoop-深入理解MapReduce(一)-Job提交流程
Airy的博客
01-20 1978
1.Job提交 先图解大致流程，心里有大概框架。 首先第一步进入waitForCompletion函数中的submit函数 进入sumit函数，重点关注connect函数 初始化 总结来说，上面过程就是建立连接，创建提交job的代理，判断是local还是yarn客户端 然后我们回到submit函数，继续看connect下面的部分 进入submitJobInternal函数 分析checkSpecs函数 ，检查输出路径是否有问题。 其中checkOutP...
-大数据入门-2-Hadoop-mapred&yarn常用命令
chen_2_2的博客
07-20 460
maprde常用命令 [hadoop@hadoop001 bin]$ ./mapred --help Usage: mapred [--config confdir] COMMAND where COMMAND is one of: pipes run a Pipes job job manipulate Map...
HiveSQL运行优化参数配置
数据掘金
09-28 2823
执行任务时Map的任务数配置 执行任务时Map的任务数配置，即执行任务时，上图标红的，number of mappers: 1 的数量。 map的个数设置其实对执行效率有很大的影响： 如果mappers数量过多，map任务启动和初始化的时间远远大于逻辑处理的时间，就会造成很大的资源浪费。而且，同时可执行的map数是受限的； 如果mappers数量过少，Hadoop的计算资源没有充分的利用，计算缓慢； map的个数主要的决定因素有： input的文件总个数，input的文件...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值