Yarn调优简介

最新推荐文章于 2024-06-23 14:41:47 发布

mm_ren

最新推荐文章于 2024-06-23 14:41:47 发布

阅读量660

点赞数

文章标签： docker linux 运维内存管理 mysql

本文链接：https://blog.csdn.net/mm_ren/article/details/117095506

版权

本文介绍了YARN的内存和CPU调优，包括`yarn.nodemanager.resource.memory-mb`、`yarn.scheduler.minimum-allocation-mb`等参数的配置，以及在64G内存16核CPU服务器上的资源分配案例，建议预留15%-20%内存给系统，将15G分配给datanode，1G给nodemanager，剩余50G用于YARN，其中设置`yarn.nodemanager.resource.cpu-vcores`为32c，`yarn.scheduler.maximum-allocation-vcores`为4c。

摘要由CSDN通过智能技术生成

1.yarn内存调优

yarn.nodemanager.resource.memory-mb
可以分配给容器的物理内存(以MB为单位)。如果设置为-1，并yarn.nodemanager.resource.detect-hardware- capability为真，则自动计算(在Windows和Linux中)。在其他情况下，默认值是8192MB。
yarn.scheduler.minimum-allocation-mb 分配给容器的最小内存大小默认为1024MB
yarn.scheduler.maximum-allocation-mb 分配给容器的最大内存大小默认为8192MB

2.yarnCPU调优

yarn.nodemanager.resource.cpu-vcores
可以分配给容器的vcore数量。这是RM调度程序在为容器分配资源时使用的。这并不用于限制yarn容器使用的cpu数量。如果将其设置为-1，并且yarn.nodemanager.resource.detect-hardware- capability为真，则在Windows和Linux中，将从硬件自动确定它。在其他情况下，vcore的数量默认为8。
yarn.scheduler.minimum-allocation-vcores 分配给容器的最小vcore数量为1
yarn.scheduler.maximum-allocation-vcores 分配给容器的最大vcore数量为4