Hadoop——第四部份 Hadoop3.x之Yarn——四、Yarn生产环境核心参数

最新推荐文章于 2022-09-19 17:41:42 发布

Cyang6

最新推荐文章于 2022-09-19 17:41:42 发布

阅读量279

点赞数

文章标签： hadoop yarn big data

本文链接：https://blog.csdn.net/Cyang6/article/details/122433135

版权

本文主要介绍了Hadoop3.x中Yarn在生产环境中的核心参数配置，包括ResourceManager、NodeManager和Container的相关设置，如调度器类型、内存和CPU资源分配等，旨在优化Yarn的性能和资源利用率。

摘要由CSDN通过智能技术生成

参数在yarn-site.xml中配置

yarn.nodemanager.resource.detect-hardware-capabilities
自动检测硬件配置,默认false
yarn.nodemanager.resource.count-logical-processors-as-cores
将逻辑处理器(虚拟核)作为CPU核数(以增加核数)，默认false
yarn.nodemanager.resource.pcores-vcores-multiplier
虚拟核对物理核乘数，默认1，如8核16线程就应设为2
yarn.nodemanager.resource.memory-mb
配置内存，默认8G
yarn.nodemanager.resource.system-reserved-memory-mb
配置系统保留内存，与配置内存汇总为节点总内存，设置一项即可
yarn.nodemanager.resource.cpu-vcores
配置CPU使用核数，默认8个
yarn.nodemanager.pmem-check-enabled
启用物理内存检查以限制容器，默认启用
yarn.node