背景:测试hive时,执行简单查询select count(*) from test.t1;
,任务跑起来后卡住不动,也不报错,如下图:
原因:最后发现是参数:yarn.nodemanager.resource.memory-mb
设置的太小导致的
进入CDH管理界面,Yarn的配置中这个参数显示如下:
这里的“容器内存”这个解释误导了我,开始我以为这个参数是设置每个container容器的内存大小,于是设置的4G,后来发现这个参数是设置集群中某个计算节点分配给nodemanager的最大可用内存,这个最大可用内存不是该节点最大内存,而是该节点最大内存划分出来的给nodemanager使用的内存。把这个参数增大到20G,hive查询可以顺利执行。
另外补充几个其它参数的含义:
1.单个容器可申请的最小内存资源
yarn.scheduler.minimum-allocation-mb
- 这个配置时用来指定单个容器(container)可申请的最小内存资源,
- 如果申请的内存资源小于这个配置项的值,则按最小值分配。(有的商业版禁止申请小于这个值的内存资源)
- 这个配置是会影响到单个节点上container个数的,所以比较重要。有下面的经验推荐值:
Total RAM per Node | Recommended Minimum Container Size |
---|---|
Less than 4 GB | 256 MB |
Between 4 GB and 8 GB | 512 MB |
Between 8 GB and 24 GB | 1024 MB |
Above 24 GB | 2048 MB |
2.单个容器可申请的最大内存资源
yarn.scheduler.maximum-allocation-mb
- 单个容器(container)可申请的最大内存资源,应用在运行时申请的内存不能超过这个配置项值,
- 因为这个配置项是指定一个container最大的内存,实际分配内存时并不是按照这个配置项分配,所以这个配置项可以配置成和nodemanager的可用内存(yarn.nodemanager.resource.memory-mb)一样即可,这样的话,意味着只要这个节点的nodemanager可用内存哪怕只够跑一个container,这个container也是可以启动的。
- 如果这个参数配置的比nodemanager的可用内存(yarn.nodemanager.resource.memory-mb)小,那么可能出现这个节点总内存即使足够提供所需内存的,但却无法启动container的情况。