========================================ResourceMananger 相关
// 队列调度器,默认是容量调度器,中小型公司选择容量调度器,而大公司考虑高性能,多任务同时处理,则选用公平的方式 FIFO 没人用
yarn.resourcemanager.scheduler.class
// ResourceManager 处理调度器请求的线程数量 50 : clinet 连接调度器的并发数量!接客数量!
yarn.resourcemananger.scheduler.client.thread-count
======================================= NodeManager 相关 :单节点资源
// 是否让yarn 自己检测硬件进行配置,默认为false : 原因是他自己处理不太靠谱【高级用户自己处理哈哈哈!】
yarn.nodemananger.resource.detect-harware-capabilities
// 是否将虚拟合适当做是cpu 核数! 默认false: 不同cpu类型,可能核心数的比例应该不相同,所以
yarn.nodemananger.resource.count-logical-processors-as-cores
// 虚拟核数和物理合数乘数 例如4核8线程,该参数应设置为2,默认为1
yarn.nodemananger.resource.pcores-vcores-multiplier
// nodemananger 使用内存,默认8G,他展示的是-1
// 具体请看代码下方官方解释!与detect-harware-capabilities 是否开启相关,因为默认不开启,所以默认8G
yarn.nodemananger.resource.memory-mb
//nodeMananger 为系统保留多少内存
yarn.nodemananger.resource.system-reserved-memory-mb
以上两个配置一个就可以
// cpu 使用核数 默认是8核(这个可以与当前服务器的核心数配置)
yarn.nodemananger.resouce.cpu-vcores
// 是否开启物理内存检查限制container, 默认打开
yarn.nodemanager.pmem-check-enabled
// 是否开启虚拟内存检查限制container, 默认打开
yarn.nodemananger.vmem-check-enabled
// 虚拟内存物理内存比例,默认是2.1
yarn.nodemananger.vmem-pmem-ratio
==========================================container 相关
// 容器最最小内存 默认1g
yarn.scheduler.minimum-allocation-mb
// 容器最最大内存 默认8G, 不能超过nodemananger 总内存!
yarn.scheduler.maximum-allocation-mb
// 容器最小cpu 核数默认1个
yarn.scheduler.minimum-allocation-vcores
// 容器最大cpu 核数默认4个(应该与自己服务器相关)
yarn.scheduler.maximum-allocation-vcores
// 自动配置内存官方解释
若是detect-hardware-capabilities 设置为true ,他会自动识别
但是这个字段默认是false ,也就是说,默认就是8g 的内存,
Amount of physical memory, in MB, that can be allocated for containers. If set to -1 and yarn.nodemanager.resource.detect-hardware-capabilities is true, it is automatically calculated(in case of Windows and Linux). In other cases, the default is 8192MB.
官方hadoop 对 yarn-defalut.xml 默认配置在官网文档最左下角,下面贴上地址:
// 此网站最最左下角,有个默认配置
https://hadoop.apache.org/docs/stable/
core-defalut.xml 配置,yarn 等配置请去官网左下角查看
https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/core-default.xml