Hadoop-Yarn参数调优+三种调度器

最新推荐文章于 2023-10-19 19:15:24 发布
最新推荐文章于 2023-10-19 19:15:24 发布
阅读量1k 收藏 7
点赞数 3
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nituoge/article/details/103518212
版权

一. Yarn资源参数调优

概念介绍：

概念中文称概念英文名解释
容器containerYarn中动态资源分配的基本单位，拥有一定的内存及CPU核数
物理核pcore服务器上物理CPU的核
虚拟核vcore设计初衷是考虑不同节点的CPU的性能不一样，每个CPU的计算能力不一样。比如某个物理CPU是另外一个物理CPU的2倍，这时通过设置第一个物理CPU的虚拟core来弥补这种差异

涉及参数:

文件参数默认大小备注
yarn-site.xmlyarn.nodemanager.resource.pcores-vcores-multiplier1将pcore转化为vcore的乘数，若为2，表示pcore*2=vcore。推荐pcore:vcore=1:2
yarn-site.xmlyarn.nodemanager.resource.memory-mb-1所有conatiner能使用的物理内存总和
yarn-site.xmlyarn.scheduler.minimum-allocation-mb1024单个container向RM能申请到的最小内存
yarn-site.xmlyarn.scheduler.maximum-allocation-mb8192单个container向RM能申请到的最大内存
yarn-site.xmlyarn.nodemanager.resource.cpu-vcores-1所有container能使用的vcore总和
yarn-site.xmlyarn.scheduler.minimum-allocation-vcores1单个container想RM能申请到的最小vcore数量
yarn-site.xmlyarn.scheduler.maximum-allocation-vcores4单个container想RM能申请到的最大vcore数量。cloudera公司推荐一个container的vcores最好不要超过5，一般我们设置为4

对于DataNode和NodeManager，一般设置为2G和4G

组件文件参数默认大小备注
DataNodehadoop-env.shHADOOP_HEAPSIZE=1000改为2048
NodeManageryarn-env.shYARN_HEAPSIZE=1000改为4096
例1:
假设一台服务器，内存128G，16个pcore，需要安装DataNode和NodeManager,
具体如何设置参数？
1）装完CentOS，消耗内存1G；
2）系统预留15%-20%(包含第1点)，防止全部使用二导致系统夯住或者OOM机制事件，
   或者给未来部署其他组件预留空间。此时余下128*80%=102G
3）DataNode设定2G，NodeManager设定4G，则剩余102-2-4=96G；
4）明确两点：pcore:vcore=1:2 ，故vcore数量为16*2=32；单个container占用4个vcore
5）确定 memory和vcore 
yarn.nodemanager.resource.cpu-vcores     -->  32  # 16*2=32
yarn.scheduler.minimum-allocation-vcores -->  1   # 最多有32个container
yarn.scheduler.maximum-allocation-vcores -->  4   # 最少有8个container 
yarn.nodemanager.resource.memory-mb      -->  96G # RM能使用的最大内存
yarn.scheduler.minimum-allocation-mb     -->  1G  # 
yarn.scheduler.maximum-allocation-mb     -->  12G # 极限8个(96/8)

注意：若有spark组件，当spark计算时内存不够大，
yarn.scheduler.maximum-allocation-mb势必要调大，
则这种理想化的设置会被打破，以memory为主

例2:
假设一台服务器，内存256G，56个pcore，需要安装DataNode和NodeManager,
具体如何设置参数？
1）装完CentOS，消耗内存1G；
2）系统预留15%-20%(包含第1点)，防止全部使用二导致系统夯住或者OOM机制事件，
或者给未来部署其他组件预留空间。此时余下256*80%=204G
3）DataNode设定2G，NodeManager设定4G，则剩余204-2-4=198G；
4）明确两点：pcore:vcore=1:2 ，故vcore数量为56*2=112；单个container占用4个vcore
5）确定 memory和vcore 
yarn.nodemanager.resource.cpu-vcores     -->  112  # 56*2=112
yarn.scheduler.minimum-allocation-vcores -->  1    # 最多有112个container
yarn.scheduler.maximum-allocation-vcores -->  4    # 最少有28个container 
yarn.nodemanager.resource.memory-mb      -->  198G # RM能使用的最大内存
yarn.scheduler.minimum-allocation-mb     -->  1G   # 
yarn.scheduler.maximum-allocation-mb     -->  7G   # 极限28个(198/28)

例3:
假设一台服务器，内存256G，56个pcore，需要安装DataNode、NodeManager和hbase regionserver(占用30G),
具体如何设置参数？
1）装完CentOS，消耗内存1G；
2）系统预留15%-20%(包含第1点)，防止全部使用二导致系统夯住或者OOM机制事件，
或者给未来部署其他组件预留空间。此时余下256*80%=204G
3）DataNode设定2G，NodeManager设定4G，则剩余204-2-4-30=168G；
4）明确两点：pcore:vcore=1:2 ，故vcore数量为56*2=112；单个container占用4个vcore
5）确定 memory和vcore
yarn.nodemanager.resource.cpu-vcores     -->  112  # 56*2=112
yarn.scheduler.minimum-allocation-vcores -->  1    # 最多有112个container
yarn.scheduler.maximum-allocation-vcores -->  4    # 最少有28个container 
yarn.nodemanager.resource.memory-mb      -->  168G # RM能使用的最大内存
yarn.scheduler.minimum-allocation-mb     -->  1G   # 
yarn.scheduler.maximum-allocation-mb     -->  6G   # 极限28个(168/28)

思考:
第一台服务器配置好，pcore:vcore=1:2,
第一台服务器配置好，pcore:vcore=1:1,该怎么办？
通过各个节点上的XML文件配置实现

二. 调度器整理三种

  • 区别是什么？
2.1 FIFO调度器
  • 先进先出（First In First Out）调度器。FIFO 调度器是 Hadoop 使用最早的一种调度策略，可以简单的将其理解为一个队列，这意味着在集群中同时只能有一个作业运行。所有的应用程序按照提交顺序来执行，在上一个 Job 执行完成之后，下一个 Job 按照队列中的顺序执行。FIFO调度器以独占集群全部资源的方式来运行作业，这样的好处是 Job 可以充分利用集群的全部资源，但是对于运行时间短，优先级高或者交互式查询类的MR Job 需要等待它之前的 Job 完成才能被执行，这也就导致了如果前面有一个比较大的 Job 在运行，那么后面的 Job 将会被阻塞。因此，虽然 FIFO 调度器实现简单，但是并不能满足很多实际场景的要求。这也就促使 Capacity 调度器和 Fair 调度器的诞生。
    在这里插入图片描述
2.1 Capacity调度器

计算调度器。可以将它理解为一个资源队列。资源队列需要用户自己分配。例如因为 Job 需要要把整个集群分成了AB两个队列，A队列又可以继续分，比如将A队列再分为1和2两个子队列
那么队列的分配就可以参考下面的树形结构：

—A[60%]
  |—A1[40%]
  |—A2[60%]
—B[40%]

在这里插入图片描述

2.1 Fair调度器

  • Fair 调度器也称之为公平调度器。Fair 调度器是在整个时间线上，所有的 Job 平分资源。默认情况下，Fair 调度器只是对内存资源做公平的调度和分配。当集群中只有一个任务在运行时，那么此任务会占用集群的全部资源。当有其他的任务提交后，那些释放的资源将会被分配给新的 Job，所以每个任务最终都能获取几乎一样多的资源。
    在这里插入图片描述

  • Fair 调度器也可以在多个队列上工作，例如有两个用户A和B，他们分别拥有一个队列。当A启动一个 Job 而B没有提交任何任务时，A会获得集群全部资源；当B启动一个 Job 后，A的任务会继续运行，不过队列A会慢慢释放它的一些资源，一会儿之后两个任务会各自获得集群一半的资源。如果此时B再启动第二个 Job 并且其它任务也还在运行时，那么它将会和B队列中的的第一个 Job 共享队列B的资源，也就是队列B的两个 Job 会分别使用集群四分之一的资源，而队列A的 Job 仍然会使用集群一半的资源，结果就是集群的资源最终在两个用户之间平等的共享。
    在这里插入图片描述

  • Apache Hadoop的默认调度器是什么？
    计算调度器。看参数yarn.resourcemanager.scheduler.class的默认值

文件参数默认值
yarn-site.xmlyarn.resourcemanager.scheduler.classorg.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler
  • Cloudera Hadoop的默认调度器是什么？
    公平调度器。Yarn web: http://localhost:8088/cluster/scheduler 可查看:在这里插入图片描述
你拓哥
关注
专栏目录
Hadoop Yarn - Apache - Cloudera - APIs
06-22
### Hadoop YARN调优与Cloudera配置详解 #### 一、概述 在大数据处理领域，Apache Hadoop YARN（Yet Another Resource Negotiator）作为资源管理和任务调度的核心组件，对于提升集群性能至关重要。本文将根据提供...
Hadoop 调优之 YARN 调优篇
热门推荐
Shockang的博客
07-06 3万+
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 正文 RM的内存资源配置, 配置的是资源调度相关 ID 配置 说明 RM1 yarn.scheduler.minimum-allocation-mb 分配给AM单个容器可申请的最小内存 RM2 yarn.scheduler.maximum-allocation-mb 分配给AM单个容器可申请
脑补|yarn能并行运行任务总数～
hellojoy的博客
01-30 833
https://cloud.tencent.com/developer/article/1534332 最近知识星球没动静主要原因是知识星球他们在做系统升级，我也很无奈，由此给球友带来的不安，深感抱歉。 前几天球友问了我一个问题： 请问浪总，集群400GB内存，提交了10个任务后就不能继续提交任务了， 资源还剩余300GB，CPU也很充足，完全满足新任务的资源，为啥就不能提交新任务了呢？？？ 各位同仁也可以先思考一下可能的原因及解决方案。 估计很多人会说： 很明显，新任务申请的资源，大于了可提供
Hadoop Yarn性能调优
qq_27242695的博客
10-08 284
文章目录Hadoop Yarn性能调优1 环境2 yarn-site.xml 配置 Hadoop Yarn性能调优 1 环境 内存 vCode 线程数 hadoop101 8G 4核CPU 4 hadoop102 8G 4核CPU 4 hadoop103 8G 4核CPU 4 2 yarn-site.xml 配置 <!-- 选择调度器，默认容量 --> <property> <description>The class to use as
hadoop生产调优之Hadoop-Yarn 生产经验（参数调优）
ztx22555的博客
12-25 1302
hadoop生产调优之Hadoop-Yarn 生产经验（参数调优）
Hadoop性能调优、YARN的内存和CPU配置
qq_41641810的博客
02-27 1175
转 Hadoop性能调优、YARN的内存和CPU配置 2018年06月12日 21:01:54 toto1297488504 阅读数：2417 ...
Hadoop Yarn 核心调优参数
JIE的博客 --- moon_coder
08-25 1889
如果一个容器的虚拟内存使用量超过了预先配置的限制，NodeManager 会采取措施来处理这种情况，通常是终止或杀死该容器。这个参数的目的是限制应用程序可以使用的虚拟内存量，以避免某个应用程序无限制地占用虚拟内存资源，导致其他任务和应用程序受影响。用于指定每个 NodeManager 节点可以使用的内存量，以兆字节（MB）为单位，默认。用于指定每个 NodeManager 节点可以使用的虚拟核心数量（vCores），默认为。，NodeManager 将会在分配容器资源时，考虑每个容器使用的虚拟内存量。
hadoop-3.3.1-aarch64.tar.gz
06-30
在大数据处理和分析的背景下，理解Hadoop的运作原理和使用方法是至关重要的，这包括数据的分布式存储、并行计算模型、任务调度以及错误恢复机制等。Hadoop还常常与其他大数据工具（如Spark、Hive、Pig等）结合使用，...
hadoop-2.6.0-cdh5.14.2.tar.gz
09-12
Hadoop 2.6.0是Hadoop发展中的一个重要版本，它引入了多项关键改进和新特性，如YARN（Yet Another Resource Negotiator），这是一个资源管理系统，负责集群资源的调度和分配，显著提升了系统的资源利用率和多任务...
YARN相关配置总结
10-24
最新整理版文档，帮助你在yarn配置上成功！
hadoop-3.3.1.tar.gz
06-26
- **YARN增强**：资源调度器YARN在3.3.1中得到了优化，提高了资源利用率和任务调度效率。 - **安全性改进**：包括Kerberos认证的优化，增强了数据安全性和访问控制。 - **性能提升**：对网络通信和I/O进行了优化...
YARN配置调优
边看边学
06-19 1793
yarn资源管理 在YARN中，资源管理由RescoueceManager和NodeManager共同完成，其中，Resourcemanager中的调度器负责资源分配，而NodeManager则负责资源的供给和隔离。容器是内存和CPU的抽象概念。容器运行在NodeManager节点。实际生产环境中，每台机器节点的硬件配置不可能完全一样，所以经常需要手动配置调优yarn在每台节点上的资源情况，以便高效利用集群资源。 YARN允许用户配置每台节点上可用的物理资源，注意，这里是“可用的”，因为一个节点上的资源会被
yarn集群调优
lcm_linux的博客
08-18 1241
一、概述 每个job提交到yarn上执行时，都会分配Container容器去运行，而这个容器需要资源才能运行，这个资源就是Cpu和内存。 1、CPU资源调度 目前的CPU被Yarn划分为虚拟CPU，这是yarn自己引入的概念，因为每个服务器的Cpu计算能力不一样，有的机器可能是 其他机器的计算能力的2倍，然后可以通过多配置几个虚拟内存弥补差异。在yarn中，cpu的相关配置如下。 yarn.nodemanager.resource.cpu-vcores 表示该节点服务器上yarn可以使用的虚拟的CPU个数，
yarn & mapreduce 配置参数总结
weixin_30684743的博客
09-16 424
配置 设置nodemanager 总内存大小为32G，在yarn-site.xml 增加如下内容： <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>32768</value> </property> cont...
Yarn资源分配性能调优
茄肥猫的窝
01-28 1万+
日志： Container [pid=134663,containerID=container_1430287094897_0049_02_067966] is running beyond physical memory limits. Current usage: 1.0 GB of 1 GB physical memory used; 1.5 GB of 10 GB virtual mem
java opts环境你变_hadoop内存环境变量
weixin_39568232的博客
02-16 587
hadoop内存的配置，涉及到两个方面:namenode/datanode/resourcemanager/nodemanager的HEAPSIZE环境变量在配置文件/Configuration中影响MR运行的变量HEAPSIZE环境变量hadoop-env.sh此配置文件 hdfs和yarn脚本都会加载。hdfs是使用HADOOP_HEAPSIZE，而yarn使用新的环境变量YARN_HEAPS...
spark配置速查
dinl_vin的博客
09-02 959
配置项五花八门?那就整理一下! * CPU相关 1. spark.cores.max 集群分配给spark的最大CPU数 2. spark.executor.cores Executor内划分的CPU- Core，一般是2~4个比较合适 3.spark.task.cpus 执行每个Task的CPU数量，一般都是1不用动 4. spark.default.parallelism 参数说明：该参数用于设置每个stage的默认task数量。这个参数极为重要，如果不设置可能会直接影响你的Spark作业性能。 参数
Hadoop3教程（二十三）：Yarn的三大调度器
最新发布
经年藏殊的博客
10-19 1035
详细介绍了YARN的三大调度器：FIFO调度器、容量调度器、公平调度器的定义、特点、具体的资源调度算法等
hadoop-yarn-client
07-06
YARN（Yet Another Resource Negotiator）是Hadoop的资源管理器，负责集群资源的分配和任务的调度。 Hadoop YARN客户端的主要功能包括作业的提交和监控。当用户想要运行一个MapReduce作业时，他们可以使用YARN...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值