大数据学习7：Hadoop Yarn 的调优整理

最新推荐文章于 2024-01-10 20:29:55 发布
最新推荐文章于 2024-01-10 20:29:55 发布
阅读量468 收藏
点赞数
分类专栏： 大数据 文章标签： hadoop mapreduce yarn

Hadoop Yarn 的调优整理：

对于Yarn的调优，主要从内存和CPU的角度去调整。应从集群所有节点的角度去考虑计算资源，根据Application申请的资源进行分配container（容器）。Container 是Yarn中资源分配的最小单元，包含了一定的内存和CPU资源。

在集群中，调整内存，CPU，磁盘的资源的平衡性很重要，根据经验，每2个Container使用一块磁盘和1个CPU核的时候，资源利用率比较高。

一、内存配置：

Yarn和MapReduce 的内存资源 = 系统总内存 – 系统占用内存 – 其他hadoop组件内存（HBASE）

可参考下表：

每台机子内存

系统需要的内存

HBase需要的内存

4GB

1GB

1GB

8GB

2GB

1GB

16GB

2GB

2GB

24GB

4GB

4GB

48GB

6GB

8GB

64GB

8GB

8GB

72GB

8GB

8GB

96GB

12GB

16GB

128GB

24GB

24GB

255GB

32GB

32GB

512GB

64GB

64GB

 

计算每台机子最多可以拥有多少个container，可以使用下面的公式:

containers = min(2*CORES, 1.8*DISKS, (Total available RAM) / MIN_CONTAINER_SIZE)

说明：

CORES为机器CPU核数

DISKS为机器上挂载的磁盘个数

Total available RAM为机器总内存

MIN_CONTAINER_SIZE是指container最小的容量大小，这需要根据具体情况去设置，可以参考下面的表格：

每台机子可用的RAM

container最小值

小于4GB

256MB

4GB到8GB之间

512MB

8GB到24GB之间

1024MB

大于24GB

2048MB

每个container的平均使用内存大小计算方式为：

RAM-per-container =max(MIN_CONTAINER_SIZE, (Total Available RAM) / containers))

 

通过上面的计算，YARN以及MAPREDUCE可以这样配置：

配置文件

配置设置

默认值

计算值

yarn-site.xml

yarn.nodemanager.resource.memory-mb

8192 MB

= containers * RAM-per-container

yarn-site.xml

yarn.scheduler.minimum-allocation-mb

1024MB

= RAM-per-container

yarn-site.xml

yarn.scheduler.maximum-allocation-mb

8192 MB

= containers * RAM-per-container

yarn-site.xml (check)

yarn.app.mapreduce.am.resource.mb

1536 MB

= 2 * RAM-per-container

yarn-site.xml (check)

yarn.app.mapreduce.am.command-opts

-Xmx1024m

= 0.8 * 2 * RAM-per-container

mapred-site.xml

mapreduce.map.memory.mb

1024 MB

= RAM-per-container

mapred-site.xml

mapreduce.reduce.memory.mb

1024 MB

= 2 * RAM-per-container

mapred-site.xml

mapreduce.map.java.opts

 

= 0.8 * RAM-per-container

mapred-site.xml

mapreduce.reduce.java.opts

 

= 0.8 * 2 * RAM-per-container

 

例子：对于128G内存、32核CPU的机器，挂载了7个磁盘，根据上面的说明，系统保留内存为24G，不适应HBase情况下，系统剩余可用内存为104G，

计算containers值如下：

containers = min (2*32,1.8* 7 , (128-24)/2) = min (64, 12.6 , 51) = 13

计算RAM-per-container值如下：

RAM-per-container = max(2, (124-24)/13) = max (2, 8) = 8

你也可以使用脚本yarn-utils.py来计算上面的值：

#!/usr/bin/env python

import optparse

from pprint import pprint

import logging

import sys

import math

import ast

 

''' Reserved for OS + DN + NM, Map: Memory => Reservation '''

reservedStack = { 4:1, 8:2, 16:2, 24:4, 48:6, 64:8, 72:8, 96:12,

                   128:24, 256:32, 512:64}

''' Reserved for HBase. Map: Memory => Reservation '''

 

reservedHBase = {4:1, 8:1, 16:2, 24:4, 48:8, 64:8, 72:8, 96:16,

                   128:24, 256:32, 512:64}

GB = 1024

 

def getMinContainerSize(memory):

  if (memory <= 4):

    return 256

  elif (memory <= 8):

    return 512

  elif (memory <= 24):

    return 1024

  else:

    return 2048

  pass

 

def getReservedStackMemory(memory):

  if (reservedStack.has_key(memory)):

    return reservedStack[memory]

  if (memory <= 4):

    ret = 1

  elif (memory >= 512):

    ret = 64

  else:

    ret = 1

  return ret

 

def getReservedHBaseMem(memory):

  if (reservedHBase.has_key(memory)):

    return reservedHBase[memory]

  if (memory <= 4):

    ret = 1

  elif (memory >= 512):

    ret = 64

  else:

    ret = 2

  return ret

                   

def main():

  log = logging.getLogger(__name__)

  out_hdlr = logging.StreamHandler(sys.stdout)

  out_hdlr.setFormatter(logging.Formatter(' %(message)s'))

  out_hdlr.setLevel(logging.INFO)

  log.addHandler(out_hdlr)

  log.setLevel(logging.INFO)

  parser = optparse.OptionParser()

  memory = 0

  cores = 0

  disks = 0

  hbaseEnabled = True

  parser.add_option('-c', '--cores', default = 16,

                     help = 'Number of cores on each host')

  parser.add_option('-m', '--memory', default = 64,

                    help = 'Amount of Memory on each host in GB')

  parser.add_option('-d', '--disks', default = 4,

                    help = 'Number of disks on each host')

  parser.add_option('-k', '--hbase', default = "True",

                    help = 'True if HBase is installed, False is not')

  (options, args) = parser.parse_args()

 

  cores = int (options.cores)

  memory = int (options.memory)

  disks = int (options.disks)

  hbaseEnabled = ast.literal_eval(options.hbase)

 

  log.info("Using cores=" + str(cores) + " memory=" + str(memory) + "GB" +

            " disks=" + str(disks) + " hbase=" + str(hbaseEnabled))

  minContainerSize = getMinContainerSize(memory)

  reservedStackMemory = getReservedStackMemory(memory)

  reservedHBaseMemory = 0

  if (hbaseEnabled):

    reservedHBaseMemory = getReservedHBaseMem(memory)

  reservedMem = reservedStackMemory + reservedHBaseMemory

  usableMem = memory - reservedMem

  memory -= (reservedMem)

  if (memory < 2):

    memory = 2

    reservedMem = max(0, memory - reservedMem)

   

  memory *= GB

 

  containers = int (min(2 * cores,

                         min(math.ceil(1.8 * float(disks)),

                              memory/minContainerSize)))

  if (containers <= 2):

    containers = 3

 

  log.info("Profile: cores=" + str(cores) + " memory=" + str(memory) + "MB"

           + " reserved=" + str(reservedMem) + "GB" + " usableMem="

           + str(usableMem) + "GB" + " disks=" + str(disks))

   

  container_ram = abs(memory/containers)

  if (container_ram > GB):

    container_ram = int(math.floor(container_ram / 512)) * 512

  log.info("Num Container=" + str(containers))

  log.info("Container Ram=" + str(container_ram) + "MB")

  log.info("Used Ram=" + str(int (containers*container_ram/float(GB))) + "GB")

  log.info("Unused Ram=" + str(reservedMem) + "GB")

  log.info("yarn.scheduler.minimum-allocation-mb=" + str(container_ram))

  log.info("yarn.scheduler.maximum-allocation-mb=" + str(containers*container_ram))

  log.info("yarn.nodemanager.resource.memory-mb=" + str(containers*container_ram))

  map_memory = container_ram

  reduce_memory = 2*container_ram if (container_ram <= 2048) else container_ram

  am_memory = max(map_memory, reduce_memory)

  log.info("mapreduce.map.memory.mb=" + str(map_memory))

  log.info("mapreduce.map.java.opts=-Xmx" + str(int(0.8 * map_memory)) +"m")

  log.info("mapreduce.reduce.memory.mb=" + str(reduce_memory))

  log.info("mapreduce.reduce.java.opts=-Xmx" + str(int(0.8 * reduce_memory)) + "m")

  log.info("yarn.app.mapreduce.am.resource.mb=" + str(am_memory))

  log.info("yarn.app.mapreduce.am.command-opts=-Xmx" + str(int(0.8*am_memory)) + "m")

  log.info("mapreduce.task.io.sort.mb=" + str(int(0.4 * map_memory)))

  pass

 

if __name__ == '__main__':

  try:

    main()

  except(KeyboardInterrupt, EOFError):

    print("\nAborting ... Keyboard Interrupt.")

    sys.exit(1)

 

执行下面命令：

python yarn-utils.py -c 32 -m 128 -d 7 -kFalse

-c：CPU核 个

-m：内存 G

-k：是否适应Hbase

结果如下：

 Using cores=32 memory=128GB disks=7 hbase=False

 Profile: cores=32 memory=106496MB reserved=24GB usableMem=104GB disks=7

 Num Container=13

 Container Ram=8192MB

 Used Ram=104GB

 Unused Ram=24GB

 yarn.scheduler.minimum-allocation-mb=8192

 yarn.scheduler.maximum-allocation-mb=106496

 yarn.nodemanager.resource.memory-mb=106496

 mapreduce.map.memory.mb=8192

 mapreduce.map.java.opts=-Xmx6553m

 mapreduce.reduce.memory.mb=8192

 mapreduce.reduce.java.opts=-Xmx6553m

 yarn.app.mapreduce.am.resource.mb=8192

 yarn.app.mapreduce.am.command-opts=-Xmx6553m

 mapreduce.task.io.sort.mb=3276

从计算中得知，每个Container自动计算出来为8G，对于一般任务来说有点多，建议调整为2G内存即可。

配置参数如下：

配置文件

配置设置

计算值

yarn-site.xml

yarn.nodemanager.resource.memory-mb

= 52 * 2 =104 G

yarn-site.xml

yarn.scheduler.minimum-allocation-mb

= 2G

yarn-site.xml

yarn.scheduler.maximum-allocation-mb

= 52 * 2 = 104G

yarn-site.xml (check)

yarn.app.mapreduce.am.resource.mb

= 2 * 2=4G

yarn-site.xml (check)

yarn.app.mapreduce.am.command-opts

= 0.8 * 2 * 2=3.2G

mapred-site.xml

mapreduce.map.memory.mb

= 2G

mapred-site.xml

mapreduce.reduce.memory.mb

= 2 * 2=4G

mapred-site.xml

mapreduce.map.java.opts

= 0.8 * 2=1.6G

mapred-site.xml

mapreduce.reduce.java.opts

= 0.8 * 2 * 2=3.2G

 

对应xml为：

  <property>

      <name>yarn.nodemanager.resource.memory-mb</name>

      <value>106496</value>

  </property>

  <property>

      <name>yarn.scheduler.minimum-allocation-mb</name>

      <value>2048</value>

  </property>

  <property>

      <name>yarn.scheduler.maximum-allocation-mb</name>

      <value>106496</value>

  </property>

  <property>

      <name>yarn.app.mapreduce.am.resource.mb</name>

      <value>4096</value>

  </property>

  <property>

      <name>yarn.app.mapreduce.am.command-opts</name>

      <value>-Xmx3276m</value>

  </property>

其他参数可继续添加也可不继续，不添加为默认。

 

另外，还有一下几个参数：

（1）yarn.nodemanager.vmem-pmem-ratio：任务每使用1MB物理内存，最多可使用虚拟内存量，默认是2.1。

（2）yarn.nodemanager.pmem-check-enabled：是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true。

（3）yarn.nodemanager.vmem-pmem-ratio：是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true。

第一个参数的意思是当一个map任务总共分配的物理内存为2G的时候，该任务的container最多内分配的堆内存为1.6G，可以分配的虚拟内存上限为2*2.1=4.2G。另外，照这样算下去，每个节点上YARN可以启动的Map数为104/2=52个。

 

二、CPU配置

YARN中目前的CPU被划分成虚拟CPU（CPU virtual Core），这里的虚拟CPU是YARN自己引入的概念，初衷是，考虑到不同节点的CPU性能可能不同，每个CPU具有的计算能力也是不一样的，比如某个物理CPU的计算能力可能是另外一个物理CPU的2倍，这时候，你可以通过为第一个物理CPU多配置几个虚拟CPU弥补这种差异。用户提交作业时，可以指定每个任务需要的虚拟CPU个数。

在YARN中，CPU相关配置参数如下：

yarn.nodemanager.resource.cpu-vcores：表示该节点上YARN可使用的虚拟CPU个数，默认是8，注意，目前推荐将该值设值为与物理CPU核数数目相同。如果你的节点CPU核数不够8个，则需要调减小这个值，而YARN不会智能的探测节点的物理CPU总数。

yarn.scheduler.minimum-allocation-vcores：单个任务可申请的最小虚拟CPU个数，默认是1，如果一个任务申请的CPU个数少于该数，则该对应的值改为这个数。

yarn.scheduler.maximum-allocation-vcores：单个任务可申请的最多虚拟CPU个数，默认是32。

对于一个CPU核数较多的集群来说，上面的默认配置显然是不合适的，

集群例子：4个节点配置每个机器CPU核数为31 [每台32物理核]，留一个给操作系统，可以配置为：

  <property>

      <name>yarn.nodemanager.resource.cpu-vcores</name>

      <value>31</value>

  </property>

  <property>

      <name>yarn.scheduler.maximum-allocation-vcores</name>

      <value>124</value>

  </property>

 

转载：

http://blog.itpub.net/30089851/viewspace-2127851/

月魂_123123
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop技术内幕：深入Yarn架构设计与实现原理
08-14
总的来说，《Hadoop技术内幕：深入Yarn架构设计与实现原理》这本书全面介绍了YARN的设计理念、工作原理以及在实际环境中的应用和优化，对于理解Hadoop大数据处理平台的运作机制和提升大数据处理能力具有重要意义。
hadoop和yarn原理笔记.docx
07-17
在大数据领域，Hadoop是一个广泛使用...总的来说，理解Hadoop和YARN的工作原理对于大数据环境下的系统优化和调优至关重要。通过合理的配置和选择合适的计算框架，可以有效地处理和分析海量数据，发挥大数据的真正价值。
Yarn参数调优
m0_69474251的博客
07-05 226
数据统计主要用HiveSQL，没有数据倾斜，小文件已经做了合并处理，开启的JVM重用，而且IO没有阻塞，内存用了不到50%。但是还是跑的非常慢，而且数据量洪峰过来时，整个集群都会宕掉。基于这种情况有没有优化方案。 解决办法 NodeManager内存和服务器实际内存配置尽量接近，如服务器有128g内存，但是NodeManager默认内存8G，不修改该参数最多只能用8G内存。NodeManager使用的CPU核数和服务器CPU核数尽量接近。 ①yarn.nodemanager.resource.memo
大数据常见命令汇总ING....
py_tamir的博客
04-14 467
1/hdfs 启动 start-dfs.sh 2/yarn 启动 start-yarn.sh 3/hive 启动 hive 4/hive 创建表 create table users(id int, name string) row format delimited fields terminated by '/t'; 5/hive 导入数据 load da...
分享：下一代 Hadoop YARN 简介：相比于MRv1，YARN的优势
weixin_34372728的博客
12-24 148
下一代 Hadoop YARN 简介：相比于MRv1，YARN的优势 http://my.oschina.net/leejun2005/blog/97802
yarn参数调优-充分利用服务器资源
weixin_45657738的博客
05-12 271
HDP推荐: https://docs.cloudera.com/HDPDocuments/HDP2/HDP-2.1.1/bk_installing_manually_book/content/rpm-chap1-11.html 我的例子: 64H 64G 2DISKS CORES为机器CPU核数 DISKS为机器上挂载的磁盘个数 Total available RAM为机器总内存 MIN_CONTAINER_SIZE是指container最小的容量大小，这需要根据具体情况去设置，可以参考下面的表格
20200602——浅谈hadoop中的yarn
寄蜉蝣于天地，渺沧海之一粟。
06-03 287
yarn前世今生 在Hadoop1.0没有yarn 只有hdfs和mapreduce 在2.0的时候才有yarn的诞生 首先在Hadoop中，存在最大的问题就是资源管理问题 随着技术的发展，人们已经不再满足Hadoop集群中只使用map reduce一个计算框架 人们更希望有一套合理的管理机制，来控制整个集群资源管理 启动hadoop中的命令 ./start-yarn.sh jps之后 ResourceManager 是全局资源管理器 RM NodeManager 是节点资源任务管理器 NM 我们可以理解成
Hadoop&YARN;权威指南
08-24
在《Hadoop YARN权威指南》中，读者可以了解到如何提交和监控应用程序，理解容器化执行环境，以及如何进行YARN的性能调优。书中还涵盖了YARN与Hadoop其他组件如HDFS、HBase、Oozie等的集成，展示了如何构建高效、...
大数据学习进阶实战大纲，学习路径
12-23
在大数据学习的道路上，系统性地掌握知识是至关重要的。以下是一个详细的学习进阶实战大纲，旨在帮助你从初级到高级逐步提升技能，避免在不重要的知识点上浪费时间。 第一阶段，你将深入学习Java SE核心知识。这...
Yarn 内存分配管理机制及相关参数配置
weixin_34018202的博客
09-08 789
理解Yarn的内存管理与分配机制，对于我们搭建、部署集群，开发维护应用都是尤为重要的，对于这方面我做了一些调研供大家参考。 关于Yarn的详细介绍请参考【Hadoop Yarn详解】 一、相关配置情况 关于Yarn内存分配与管理，主要涉及到了ResourceManage、ApplicationMatser、NodeManager...
【Hadoop】Hadoop及Yarn调优
小哲的博客
09-12 629
Hadoop及Yarn调优
Hadoop常用参数、命令笔记
没有格子衬衫的程序员
09-03 986
查看压缩文件、普通文件 hadoop fs -text filename hadoop fs -text /user/vsearch/offline/bangxi/il/part-r-02998.snappy | head hadoop fs –cat filename //只能查看未压缩文件 kill任务 hadoop job -kill-task xxx 迁...
Hadoop--yarn--MapReduce安装配置
没有合适的昵称
07-15 2482
在yarn-site.xml中增加如下的配置 <property> <name>yarn.resourcemanager.hostname</name> <value>master</value> <description>表示ResourceManager安装的主机</d...
详解 YARN的内存和CPU配置
qq_43688472的博客
06-18 5716
一：简单介绍 Hadoop YARN同时支持内存和CPU两种资源的调度，本文介绍如何配置YARN对内存和CPU的使用。 YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。 在YARN集群中，平衡内存、CPU、磁盘的资源的很重要的，根...
Hadoop之mapreduce参数大全-6
最新发布
m0_49620121的博客
01-10 1988
文件中配置的，该文件位于 Hadoop 的配置目录中。确保理解任务提交器的行为，以及设置适当的取消超时时间，以平衡任务取消的迅速性和提交器完成的可能性。通过设置这个配置属性，可以在 Hadoop 集群中利用节点标签功能，将 Reduce 任务限制在特定类型的节点上运行，以满足 Reduce 任务对硬件或软件环境的特定需求。通过设置这个配置属性，可以在 Hadoop 集群中利用节点标签功能，将 Map 任务限制在特定类型的节点上运行，以满足 Map 任务对硬件或软件环境的特定需求。
cdh之调整YARN（调优yarn 生产必做优化项）004
weixin_33788244的博客
03-26 1771
2019/3/26 星期二调整YARN本主题仅适用于YARN群集，并介绍如何为群集调整和优化YARN。注意：下载Cloudera YARN调整电子表格以帮助计算YARN配置。 有关简短视频概述，请参阅调整YARN应用程序。概观此概述提供YARN群集的抽象描述和YARN调整的目标。 YARN群集由主机组成。 主机提供内存和CPU资源。 vcore或虚拟核心是主机CPU的使用份额。 调整YARN主要包...
Hive内存溢出常见问题
LINBE_blazers的博客
04-24 4261
1MR作业运行过程中内存溢出错误分类 1.1Mapper/Reducer阶段JVM内存溢出（一般都是堆） 1.1.1JVM堆（Heap）内存溢出：堆内存不足时，一般会抛出如下异常： 1）-“java.lang.OutOfMemoryError: ” GC overhead limit exceeded; 2）-"Error: Java heapspace"异常信息 3）-"run...
hadoop生产调优之Hadoop-Yarn 生产经验（参数调优）
ztx22555的博客
12-25 1297
hadoop生产调优之Hadoop-Yarn 生产经验（参数调优）
大数据技术解析：Hadoop框架与生态系统
"这份Hadoop课程笔记详尽地涵盖了大数据技术和Hadoop的相关知识，从大数据的基本概念到Hadoop的各个组成部分，再到Hadoop的完全分布式集群搭建、源码剖析以及调优与二次开发示例。" 大数据技术是为了解决海量数据的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值