HDP内存配置设置方法

最新推荐文章于 2021-09-22 22:53:31 发布

置顶

Jarvis数据之路

最新推荐文章于 2021-09-22 22:53:31 发布

阅读量985

点赞数 1

分类专栏：大数据平台部署文章标签： hadoop 大数据 ambari

本文链接：https://blog.csdn.net/qq_27960935/article/details/108809124

版权

本文介绍了HDP中手动和使用脚本计算YARN和MapReduce内存配置的方法。手动计算涉及考虑节点的硬件资源，如RAM、CPU和磁盘，以及预留内存。HDP Utility脚本是推荐的计算方式，能自动生成配置建议。文章通过实例详细阐述了配置过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

可以使用两种方法来确定YARN和MapReduce内存配置设置：

1.手动计算YARN和MapReduce内存配置设置.

2.使用HDP Utility脚本计算内存配置设置.

HDP实用程序脚本是计算HDP内存配置设置的推荐方法，但也提供了有关手动计算YARN和MapReduce内存配置设置的信息以供参考。

本节介绍如何根据节点硬件规范手动配置YARN和MapReduce内存分配设置。

YARN会考虑群集中每台计算机上的所有可用计算资源。根据可用资源，YARN协商来自群集中运行的应用程序（例如MapReduce）的资源请求。然后，YARN通过分配容器为每个应用程序提供处理能力。Container是YARN中处理能力的基本单位，是资源元素（内存，cpu等）的封装。

在Hadoop集群中，平衡内存（RAM），处理器（CPU内核）和磁盘的使用至关重要，这样处理不受这些集群资源中的任何一个的限制。作为一般建议，允许每个磁盘和每个核心使用两个Container，从而为群集利用率提供最佳平衡。

在为群集节点确定适当的YARN和MapReduce内存配置时，请从可用的硬件资源开始。具体来说，请注意每个节点上的以下值：

YARN和MapReduce的总可用RAM应考虑保留内存。Reserved Memory是系统进程和其他Hadoop进程（例如HBase）所需的RAM。

注：保留内存=为堆栈内存保留+为HBase内存保留（如果HBase在同一节点上）

使用下表确定每个节点的预留内存。

内存分配建议

确定每个节点允许的最大容器数。可以使用以下公式：

containers= min（2 * CORES，1.8 * DISKS，（总可用RAM）/ MIN_CONTAINER_SIZE）

其中MIN_CONTAINER_SIZE是最小容器大小（在RAM中）。此值取决于可用的RAM量 -在较小的内存节点中，最小容器大小也应该更小。下表概述了建议值：