yarn中需要很多内存配置,本文只给一些推荐和建议,实际还根据具体业务逻辑来定
首先,需要明确,yarn中,整个集群的资源需要内存、硬盘、CPU(CPU核数)三者来决定,必须要实现三者的均衡,在实际生产环境中,硬盘都是足够大的,所以很少考虑硬盘,这里暂时也把硬盘作为一个要素作为参考项。
在计算节点可用内存的时候,需要考虑操作系统系统的内存需求、NM的内存需求以及该节点其他系统的内存需求(比如Hbase,下面均以Hbase为例),
因此yarn可用内存=系统总内存-为操作系统保留内存-为Hbase保留内存
操作系统和Hbase内存参考值如下
节点总内存 | 操作系统预留的内存 | Hbase预留的内存 |
4 GB | 1 GB | 1 GB |
8 GB | 2 GB | 1 GB |
16 GB | 2 GB | 2 GB |
24 GB | 4 GB | 4 GB |
48 GB | 6 GB | 8 GB |
64 GB | 8 GB | 8 GB |
72 GB | 8 GB | 8 GB |
96 GB | 12 GB | 16 GB |
128 GB | 24 GB | <