Yarn container 资源分配 与task和Executor关系
问题: spark on yarn 或者 mapreduce on yarn 中 container 的资源 与 maptask/reducetask 或 Executor的资源分配关系?
Yarn container 的个数, 内存与CPU控制
一. YARN 机器 – 预留内存
总共保留的内存=系统内存+HBASE内存。
每台机子内存 | 系统需要的内存 | HBase需要的内存 |
---|---|---|
4GB | 1GB | 1GB |
8GB | 2GB | 1GB |
16GB | 2GB | 2GB |
24GB | 4GB | 4GB |
48GB | 6GB | 8GB |
64GB | 8GB | 8GB |
72GB | 8GB | 8GB |
96GB | 12GB | 16GB |
128GB |