确定HDP内存配置设置

 9.确定HDP内存配置设置

可以使用两种方法来确定YARN和MapReduce内存配置设置：

 

• 使用HDP Utility脚本计算内存配置设置

• 手动计算YARN和MapReduce内存配置设置

 

HDP实用程序脚本是计算HDP内存配置设置的推荐方法，但也提供了有关手动计算YARN和MapReduce内存配置设置的信息以供参考。

 9.1。使用HDP Utility脚本计算内存配置设置

本节介绍如何使用hdp-configuration-utils.py Python脚本根据节点硬件规范计算YARN，MapReduce，Hive和Tez内存分配设置。该 hdp-configuration-utils.py脚本包含在HDP 配套文件中。

运行脚本

要运行该hdp-configuration-utils.py脚本，请从包含该脚本的文件夹中执行以下命令：

<span style="color:#555555"><span style="color:#23302d">python hdp-configuration-utils.py <options></span></span>

使用以下选项：

 

选项	描述
-c CORES	每台主机上的核心数。
-m MEMORY	每个主机上的内存量，以GB为单位。
-d DISKS	每台主机上的磁盘数。
-k HBASE	如果安装了HBase，则为“True”，否则为“False”。

 

注意：您还可以使用-h或 --help选项显示描述选项的“帮助”消息。

例

运行以下命令：

<span style="color:#555555"><span style="color:#23302d">python hdp-configuration-utils.py -c 16 -m 64 -d 4 -k True</span></span>

会回来：

<span style="color:#555555"><span style="color:#23302d"> 使用cores = 16内存= 64GB磁盘= 4 hbase = True
 配置文件：cores = 16内存= 49152MB保留= 16GB usefulMem = 48GB磁盘= 4
 Num Container = 8
 容器Ram = 6144MB
 使用Ram = 48GB
 未使用的Ram = 16GB
 yarn.scheduler.minimum分配-MB = 6144
 yarn.scheduler.maximum分配-MB = 49152
 yarn.nodemanager.resource.memory-MB = 49152
 mapreduce.map.memory.mb = 6144
 mapreduce.map.java.opts = -Xmx4096m
 mapreduce.reduce.memory.mb = 6144
 mapreduce.reduce.java.opts = -Xmx4096m
 yarn.app.mapreduce.am.resource.mb = 6144
 yarn.app.mapreduce.am.command-选择采用= -Xmx4096m
 mapreduce.task.io.sort.mb = 1792
 tez.am.resource.memory.mb = 6144
 tez.am.java.opts = -Xmx4096m
 hive.tez.container.size = 6144
 hive.tez.java.opts = -Xmx4096m
 hive.auto.convert.join.noconditionaltask.size = 1342177000</span></span>

 9.2。手动计算YARN和MapReduce内存配置设置

本节介绍如何根据节点硬件规范手动配置YARN和MapReduce内存分配设置。

YARN会考虑群集中每台计算机上的所有可用计算资源。根据可用资源，YARN协商来自群集中运行的应用程序（例如MapReduce）的资源请求。然后，YARN通过分配容器为每个应用程序提供处理能力。Container是YARN中处理能力的基本单位，是资源元素（内存，cpu等）的封装。

在Hadoop集群中，平衡内存（RAM），处理器（CPU内核）和磁盘的使用至关重要，这样处理不受这些集群资源中的任何一个的限制。作为一般建议，允许每个磁盘和每个核心使用两个Container，从而为群集利用率提供最佳平衡。

在为群集节点确定适当的YARN和MapReduce内存配置时，请从可用的硬件资源开始。具体来说，请注意每个节点上的以下值：

• RAM（内存量）

• CORES（CPU内核数）

• 磁盘（磁盘数）

YARN和MapReduce的总可用RAM应考虑保留内存。Reserved Memory是系统进程和其他Hadoop进程（例如HBase）所需的RAM。

保留内存=为堆栈内存保留+为HBase内存保留（如果HBase在同一节点上）

使用下表确定每个节点的预留内存。

保留的内存建议

 

每个节点的总内存	推荐的预留系统内存	推荐的预留HBase内存
4GB	1 GB	1 GB
8 GB	2 GB	1 GB
16 GB	2 GB	2 GB
24 GB	4GB	4GB
48 GB	6 GB	8 GB
64 GB	8 GB	8 GB
72 GB	8 GB	8 GB
96 GB	12 GB	16 GB
128 GB	24 GB	24 GB
256 GB	32 GB	32 GB
512 GB	64 GB	64 GB

 

下一个计算是确定每个节点允许的最大容器数。可以使用以下公式：

容器数量= min（2 * CORES，1.8 * DISKS，（总可用RAM）/ MIN_CONTAINER_SIZE）

其中MIN_CONTAINER_SIZE是最小容器大小（在RAM中）。此值取决于可用的RAM量 - 在较小的内存节点中，最小容器大小也应该更小。下表概述了建议值：

 

每个节点的总RAM	建议的最小容器尺寸
小于4 GB	256 MB
介于4 GB和8 GB之间	512 MB
介于8 GB和24 GB之间	1024 MB
超过24 GB	2048 MB

 

最终的计算是确定每个容器的RAM量：

 

RAM-per-container = max（MIN_CONTAINER_SIZE，（总可用RAM）/容器））

 

通过这些计算，可以设置YARN和MapReduce配置：

配置文件	配置设置	价值计算
纱的site.xml	yarn.nodemanager.resource.memory-MB	=容器* RAM-per-container
纱的site.xml	yarn.scheduler.minimum分配-MB	=每个容器的RAM
纱的site.xml	yarn.scheduler.maximum分配-MB	=容器* RAM-per-container
mapred-site.xml中	mapreduce.map.memory.mb	=每个容器的RAM
mapred-site.xml中	mapreduce.reduce.memory.mb	= 2 * RAM-per-container
mapred-site.xml中	mapreduce.map.java.opts	= 0.8 *每个容器的RAM
mapred-site.xml中	mapreduce.reduce.java.opts	= 0.8 * 2 *每个容器的RAM
yarn-site.xml（检查）	yarn.app.mapreduce.am.resource.mb	= 2 * RAM-per-container
yarn-site.xml（检查）	yarn.app.mapreduce.am.command-OPTS	= 0.8 * 2 *每个容器的RAM

注意：安装后，既 yarn-site.xml和mapred-site.xml位于在/etc/hadoop/conf文件夹中。

 

例子

群集节点具有12个CPU核心，48 GB RAM和12个磁盘。

保留内存= 6 GB保留用于系统内存+（如果是HBase）8 GB用于HBase

最小容器大小= 2 GB

 

如果没有HBase：

容器数量= min（2 * 12,1.8 * 12，（48-6）/ 2）= min（24,21.6,21）= 21

RAM-per-container = max（2，（48-6）/ 21）= max（2,2）= 2

 

组态	价值计算
yarn.nodemanager.resource.memory-MB	= 21 * 2 = 42 * 1024 MB
yarn.scheduler.minimum分配-MB	= 2 * 1024 MB
yarn.scheduler.maximum分配-MB	= 21 * 2 = 42 * 1024 MB
mapreduce.map.memory.mb	= 2 * 1024 MB
mapreduce.reduce.memory.mb	= 2 * 2 = 4 * 1024 MB
mapreduce.map.java.opts	= 0.8 * 2 = 1.6 * 1024 MB
mapreduce.reduce.java.opts	= 0.8 * 2 * 2 = 3.2 * 1024 MB
yarn.app.mapreduce.am.resource.mb	= 2 * 2 = 4 * 1024 MB
yarn.app.mapreduce.am.command-OPTS	= 0.8 * 2 * 2 = 3.2 * 1024 MB

 

如果包含HBase：

容器数量= min（2 * 12,1.8 * 12，（48-6-8）/ 2）= min（24,21.6,17）= 17

RAM-per-container = max（2，（48-6-8）/ 17）= max（2,2）= 2

 

组态	价值计算
yarn.nodemanager.resource.memory-MB	= 17 * 2 = 34 * 1024 MB
yarn.scheduler.minimum分配-MB	= 2 * 1024 MB
yarn.scheduler.maximum分配-MB	= 17 * 2 = 34 * 1024 MB
mapreduce.map.memory.mb	= 2 * 1024 MB
mapreduce.reduce.memory.mb	= 2 * 2 = 4 * 1024 MB
mapreduce.map.java.opts	= 0.8 * 2 = 1.6 * 1024 MB
mapreduce.reduce.java.opts	= 0.8 * 2 * 2 = 3.2 * 1024 MB
yarn.app.mapreduce.am.resource.mb	= 2 * 2 = 4 * 1024 MB
yarn.app.mapreduce.am.command-OPTS	= 0.8 * 2 * 2 = 3.2 * 1024 MB

 

笔记：

1. 在yarn.scheduler.minimum-allocation-mb不改变的情况下进行更改yarn.nodemanager.resource.memory-mb，或者在yarn.nodemanager.resource.memory-mb不改变的 情况下进行更改 yarn.scheduler.minimum-allocation-mb也会更改每个节

2. 如果您的安装具有高RAM但没有多少磁盘/核心，则可以通过降低yarn.scheduler.minimum-allocation-mb和 来释放RAM以执行其他任务yarn.nodemanager.resource.memory-mb。

 9.2.1。在YARN上配置MapReduce内存设置

MapReduce在YARN之上运行，并利用YARN Containers来安排和执行Map and Reduce任务。在YARN上配置MapReduce资源利用率时，需要考虑三个方面：

 

• 每个Map和Reduce任务的物理RAM限制。

• 每个任务的JVM堆大小限制。

• 每个任务将接收的虚拟内存量。

 

您可以为每个Map和Reduce任务定义最大内存量。由于每个Map和Reduce任务都将在一个单独的Container中运行，因此这些最大内存设置应等于或大于YARN最小Container分配。

对于上一节中使用的示例群集（48 GB RAM，12个磁盘和12个核心），Container的最小RAM（yarn.scheduler.minimum-allocation-mb）= 2 GB。因此，我们将为Map任务容器分配4 GB，为Reduce任务容器分配8 GB。

在  mapred-site.xml：

<span style="color:#555555"><span style="color:#23302d"><名称> mapreduce.map.memory.mb </名称>
<值> 4096 </值>
<名称> mapreduce.reduce.memory.mb </名称>
<值> 8192 </值></span></span>

每个Container都将运行JVM以执行Map和Reduce任务。JVM堆大小应设置为低于Map和Reduce Containers的值，以便它们在YARN分配的Container内存的范围内。

在  mapred-site.xml：

<span style="color:#555555"><span style="color:#23302d"><名称> mapreduce.map.java.opts </名称>
<值> -Xmx3072m </值>
<名称> mapreduce.reduce.java.opts </名称>
<值> -Xmx6144m </值></span></span>

上述设置配置Map和Reduce任务将使用的物理RAM的上限。每个Map和Reduce任务的虚拟内存（物理+分页内存）上限由允许每个YARN Container的虚拟内存比确定。此比率使用以下配置属性设置，默认值为2.1：

在  yarn-site.xml：

<span style="color:#555555"><span style="color:#23302d"><名称> yarn.nodemanager.vmem-PMEM比率</名称>
<值> 2.1 </值></span></span>

通过我们示例集群上的上述设置，每个Map任务将接收以下内存分配：

• 分配的物理RAM总量= 4 GB

• Map任务Container中的JVM堆空间上限= 3 GB

• 虚拟内存上限= 4 * 2.1 = 8.2 GB

使用YARN上的MapReduce，不再为Map和Reduce任务预先配置静态插槽。整个群集可用于根据每个作业的需要动态分配Map和Reduce任务。在我们的示例集群中，通过上述配置，YARN将能够在每个节点上分配多达10个Mappers（40/4）或5个Reducers（40/8）（或者每个节点上的Mapper和Reducers的一些其他组合）节点限制）。