yarn集群上内存和cpu调优和设置

最新推荐文章于 2022-06-30 14:37:25 发布

weixin_33811539

最新推荐文章于 2022-06-30 14:37:25 发布

阅读量622

点赞数

文章标签：大数据 java 操作系统

原文链接：https://my.oschina.net/cjun/blog/688827

版权

为什么80%的码农都做不了架构师？>>>

转载自：YARN的内存和CPU配置翻译自：Determine YARN and MapReduce Memory Configuration Settings

根据文章上的计算方式，来设置下面这个属性的值，调整到最佳状态。注意很多情况下，单个任务task也就是指一个container。task的并行度也就是container的并行度。可以这样理解，task就是在container中启动的任务。

注意几个属性

配置设置	中文解释
yarn.nodemanager.resource.memory-mb	表示该nodemanager节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。
yarn.scheduler.minimum-allocation-mb	container内存范围的最小值，也就是单个任务可申请的最少物理内存量，默认是1024（MB），如果一个任务申请的物理内存量少于该值，则该对应的值改为这个数。
yarn.scheduler.maximum-allocation-mb	container内存范围的最大值，也就是单个任务可申请的最多物理内存量，默认是8192（MB）。
yarn.app.mapreduce.am.resource.mb	MR ApplicationMaster占用的内存量
yarn.app.mapreduce.am.command-opts
mapreduce.map.memory.mb	map任务在container启动的时候申请的内存
mapreduce.reduce.memory.mb	reduce任务在container启动的时候申请的内存
mapreduce.map.java.opts
mapreduce.reduce.java.opts

1.yarn.scheduler.minimum-allocation-mb/yarn.scheduler.maximum-allocation-mb应该是container向ResourceManager请求的最小和最大的内存，-mb就是指内存单位是MB。参考官网配置项的解释。

2.mapreduce.map.memory.mb/mapreduce.reduce.memory.mb应该是task启动时，向资源调度器请求请求的内存，在Release 2.7.2有这两个参数，但是在Release 2.5.2没找到这两个参数。参考官网配置项的解释。

这里不是很理解，1和2区别是什么呢？1是container向ResourceManager请求的内存，2是向scheduler请求的内存。是不一样吗？我模糊的理解就是，首先container是相当于是个容器，建立这个容器的时候向RM申请了内存，是个弹性的范围，有最大和最小，这就是1的理解，当不用那么多时，内存可以用小一点。2是指启动task时，task想container要的内存，当然，这里向container要的内存肯定不能大于container的内存了。

在根据下面这段回复就知道，应该就是上面我解释的这个意思，链接：Hadoop YARN中内存和CPU两种资源的调度和隔离

您好，为什么我设置了yarn.scheduler.minimum-allocation-mb和 yarn.scheduler.maximum-allocation-mb两参数后，系统只按照前者分配Container可使用的内存，当使用的内存量超过该最小值但不大于这个最大值的时候就报OOM的错误呢？

[回复]

Dong 回复:
十一月 15th, 2013 at 上午 1:11

这两个参数不是你说的这个意思，这两个参数是管理员用来设置用户能够设置的每个任务可申请的最小和最大内存资源。具体每个任务到底申请多少，由各个应用程序单独设置，如果是mapreduce程序，可以map task申请的资源可通过mapreduce.map.memory.mb指定，reduce task的资源可通过mapreduce.reduce.memory.mb指定，这两个参数最大不能超过 yarn.scheduler.maximum-allocation-mb。

原文摘录：

Hadoop YARN同时支持内存和CPU两种资源的调度，本文介绍如何配置YARN对内存和CPU的使用。

YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。

在YARN集群中，平衡内存、CPU、磁盘的资源的很重要的，根据经验，每两个container使用一块磁盘以及一个CPU核的时候可以使集群的资源得到一个比较好的利用。

内存配置

关于内存相关的配置可以参考hortonwork公司的文档Determine HDP Memory Configuration Settings来配置你的集群。

YARN以及MAPREDUCE所有可用的内存资源应该要除去系统运行需要的以及其他的hadoop的一些程序，总共保留的内存=系统内存+HBASE内存。

可以参考下面的表格确定应该保留的内存：

计算每台机子最多可以拥有多少个container，可以使用下面的公式:

containers = min (2*CORES, 1.8*DISKS, (Total available RAM) / MIN_CONTAINER_SIZE)

说明：

CORES为机器CPU核数
DISKS为机器上挂载的磁盘个数
Total available RAM为机器总内存
MIN_CONTAINER_SIZE是指container最小的容量大小，这需要根据具体情况去设置，可以参考下面的表格：

每台机子可用的RAM
container最小值

每个container的平均使用内存大小计算方式为：

RAM-per-container = max(MIN_CONTAINER_SIZE, (Total Available RAM) / containers))

通过上面的计算，YARN以及MAPREDUCE可以这样配置：

举个例子：对于128G内存、32核CPU的机器，挂载了7个磁盘，根据上面的说明，系统保留内存为24G，不适应HBase情况下，系统剩余可用内存为104G，计算containers值如下：

containers = min (2*32, 1.8* 7 , (128-24)/2) = min (64, 12.6 , 51) = 13

计算RAM-per-container值如下：

RAM-per-container = max (2, (124-24)/13) = max (2, 8) = 8

这样的话，每个container内存为8G，似乎有点多，我更愿意根据集群使用情况任务将其调整为2G内存，则集群中下面的参数配置值如下：

对应的xml配置为：

<property>
      <name>yarn.nodemanager.resource.memory-mb</name>
      <value>106496</value>
  </property>
  <property>
      <name>yarn.scheduler.minimum-allocation-mb</name>
      <value>2048</value>
  </property>
  <property>
      <name>yarn.scheduler.maximum-allocation-mb</name>
      <value>106496</value>
  </property>
  <property>
      <name>yarn.app.mapreduce.am.resource.mb</name>
      <value>4096</value>
  </property>
  <property>
      <name>yarn.app.mapreduce.am.command-opts</name>
      <value>-Xmx3276m</value>
  </property>

另外，还有一下几个参数：

yarn.nodemanager.vmem-pmem-ratio：任务每使用1MB物理内存，最多可使用虚拟内存量，默认是2.1。
yarn.nodemanager.pmem-check-enabled：是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true。
yarn.nodemanager.vmem-pmem-ratio：是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true。

第一个参数的意思是当一个map任务总共分配的物理内存为2G的时候，该任务的container最多内分配的堆内存为1.6G，可以分配的虚拟内存上限为2*2.1=4.2G。另外，照这样算下去，每个节点上YARN可以启动的Map数为104/2=52个。

CPU配置

YARN中目前的CPU被划分成虚拟CPU（CPU virtual Core），这里的虚拟CPU是YARN自己引入的概念，初衷是，考虑到不同节点的CPU性能可能不同，每个CPU具有的计算能力也是不一样的，比如某个物理CPU的计算能力可能是另外一个物理CPU的2倍，这时候，你可以通过为第一个物理CPU多配置几个虚拟CPU弥补这种差异。用户提交作业时，可以指定每个任务需要的虚拟CPU个数。

在YARN中，CPU相关配置参数如下：

yarn.nodemanager.resource.cpu-vcores：表示该节点上YARN可使用的虚拟CPU个数，默认是8，注意，目前推荐将该值设值为与物理CPU核数数目相同。如果你的节点CPU核数不够8个，则需要调减小这个值，而YARN不会智能的探测节点的物理CPU总数。
yarn.scheduler.minimum-allocation-vcores：单个任务可申请的最小虚拟CPU个数，默认是1，如果一个任务申请的CPU个数少于该数，则该对应的值改为这个数。
yarn.scheduler.maximum-allocation-vcores：单个任务可申请的最多虚拟CPU个数，默认是32。

对于一个CPU核数较多的集群来说，上面的默认配置显然是不合适的，在我的测试集群中，4个节点每个机器CPU核数为31，留一个给操作系统，可以配置为：

  <property>
      <name>yarn.nodemanager.resource.cpu-vcores</name>
      <value>31</value>
  </property>
  <property>
      <name>yarn.scheduler.maximum-allocation-vcores</name>
      <value>124</value>
  </property>

转载于:https://my.oschina.net/cjun/blog/688827