flink yarn单节点需要关注的配置项

========================================ResourceMananger 相关
// 队列调度器,默认是容量调度器,中小型公司选择容量调度器,而大公司考虑高性能,多任务同时处理,则选用公平的方式 FIFO 没人用
yarn.resourcemanager.scheduler.class

// ResourceManager 处理调度器请求的线程数量 50 : clinet 连接调度器的并发数量!接客数量!
yarn.resourcemananger.scheduler.client.thread-count


======================================= NodeManager 相关 :单节点资源
// 是否让yarn 自己检测硬件进行配置,默认为false : 原因是他自己处理不太靠谱【高级用户自己处理哈哈哈!】
yarn.nodemananger.resource.detect-harware-capabilities

// 是否将虚拟合适当做是cpu 核数! 默认false: 不同cpu类型,可能核心数的比例应该不相同,所以
yarn.nodemananger.resource.count-logical-processors-as-cores 

// 虚拟核数和物理合数乘数 例如4核8线程,该参数应设置为2,默认为1
yarn.nodemananger.resource.pcores-vcores-multiplier 

// nodemananger 使用内存,默认8G,他展示的是-1
// 具体请看代码下方官方解释!与detect-harware-capabilities 是否开启相关,因为默认不开启,所以默认8G
yarn.nodemananger.resource.memory-mb  
//nodeMananger 为系统保留多少内存
yarn.nodemananger.resource.system-reserved-memory-mb
以上两个配置一个就可以

// cpu 使用核数 默认是8核(这个可以与当前服务器的核心数配置)
yarn.nodemananger.resouce.cpu-vcores

// 是否开启物理内存检查限制container, 默认打开
yarn.nodemanager.pmem-check-enabled 
// 是否开启虚拟内存检查限制container, 默认打开
yarn.nodemananger.vmem-check-enabled 
// 虚拟内存物理内存比例,默认是2.1
yarn.nodemananger.vmem-pmem-ratio

==========================================container 相关

// 容器最最小内存 默认1g
yarn.scheduler.minimum-allocation-mb  
// 容器最最大内存 默认8G, 不能超过nodemananger 总内存!
yarn.scheduler.maximum-allocation-mb
// 容器最小cpu 核数默认1个
yarn.scheduler.minimum-allocation-vcores
// 容器最大cpu 核数默认4个(应该与自己服务器相关)
yarn.scheduler.maximum-allocation-vcores

// 自动配置内存官方解释

若是detect-hardware-capabilities 设置为true ,他会自动识别

但是这个字段默认是false ,也就是说,默认就是8g 的内存,

 

Amount of physical memory, in MB, that can be allocated for containers. If set to -1 and yarn.nodemanager.resource.detect-hardware-capabilities is true, it is automatically calculated(in case of Windows and Linux). In other cases, the default is 8192MB.

官方hadoop 对 yarn-defalut.xml 默认配置在官网文档最左下角,下面贴上地址:

// 此网站最最左下角,有个默认配置

https://hadoop.apache.org/docs/stable/

core-defalut.xml 配置,yarn 等配置请去官网左下角查看

https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/core-default.xml

 

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值