cdh内存分配参考文档

基于以下环境提供参考值： 5台内存32G、cpu8核的服务器，操作系统为centos6.8
总内存： 160G
总核数： 40核
不同的环境可以根据自己环境的总内存以及总内核和这个参考值得出系数,那么：值= 推荐值 X 系数

• hdfs

参数	解释	值
NameNode 的 Java 堆栈大小	Java 进程堆栈内存的最大大小,改Java进程主要是：维护整个系统的的文件目录树，维护文件/目录的信息和每个文件对应的数据块列表，接受并处理用户的操作请求	至少1GB
dfs.datanode.max.locked.memory	一个DataNode将要用来被做HDFS缓存的内存的最大值	至少256MB
DataNode 的 Java 堆栈大小	Java 进程堆栈内存的最大大小,改Java进程主要是：周期性检测并向NameNode上报其管理的块信息，同时处理namenode给该Datanode的命令	512MB
Failover Controller 的 Java 堆栈大小	Java 进程堆栈内存的最大大小，改Java进程主要是：监控NameNode的健康状态，监控NameNode在zookeeper中的健康状态，监控之后管理NameNode的状态	至少256MB
JournalNode 的 Java 堆栈大小	Java 进程堆栈内存的最大大小,改Java进程主要是：实现两个NameNode的数据同步，active的NameNode做变更的时候，会通知JournalNode 进程，standby的NameNode心跳获取	至少256MB

• hive

参数	解释	值
Hive Metastore Server 的 Java 堆栈大小（字节）	Java 进程堆栈内存的最大大小,改Java进程主要是：为hive、impala、kudu提供元数据管理	1.5GB
HiveServer2 的 Java 堆栈大小	由于我们的系统没有使用到hiveserver2,所以设置小的值，同时可以将它停止	1GB

• impala

参数	解释	值
Catalog Server 的 Java 堆栈大小	Java 进程堆栈内存的最大大小,改Java进程主要是:作为meta访问网关，从Hive Metastore等外部catalog中获取元数据信息，放到impala自己的catalog结构中，impalad执行ddl命令时通过catalogd由其代为执行，该更新则由statestored广播	最少256MB
Impala Daemon 内存限制	Java 进程堆栈内存的最大大小,改Java进程主要是:作为客户端，接受客户的查询请求，生成查询计划树，把查询计划分发给其他的Impala Daemon(包括自己),被分配的Impala Daemon读写数据进行查询，并返回改客户端	1GB

• kafka

参数	解释	值
Java Heap Size of Broker	kafka broker java 进程堆栈内存的最大大小	至少1GB

• kudu

参数	解释	值
Kudu Tablet Server Hard Memory Limit	kudu tablet server最大能使用的内存，kudu写入数据的时候，是将数据先缓存到内存，然后保存到磁盘，如何设置过低，会影响写入的性能	3GB
Kudu Tablet Server Block Cache Capacity	kudu tablet 块缓存的最大内存量	2GB
maintenance_manager_num_threads	kudu对数据管理的时候最大显成熟	4

• spark

参数	解释	值
Java Heap Size of History Server in Bytes	spark history server java 进程堆栈内存的最大大小	至少512MB

• yarn

参数	解释	值
JobHistory Server 的 Java 堆栈大小	java 进程堆栈内存的最大大小	512MB
NodeManager 的 Java 堆栈	java 进程堆栈内存的最大大小	512MB
容器内存	每个nodemanager为最大可分配的内存	9GB
ResourceManager 的 Java 堆栈大小	java 进程堆栈内存的最大大小	512MB
最小容器内存	单个任务可申请的最少内存量	1GB
容器内存增量	单个任务可申请的内存的增量	512MB
最大容器内存	单个任务可申请的最大内存量	6GB
容器虚拟 CPU 内核	每个nodemanager为最大可分配的内核数量	6
最小容器虚拟 CPU 内核数量	单个任务可申请的最小内核数量	1
容器虚拟 CPU 内核增量	单个任务申请的内核增量	1
最大容器虚拟 CPU 内核数量	单个任务可申请的最大内核数量	1

• zookeeper

参数	解释	值
ZooKeeper Server 的 Java 堆栈大小	java 进程堆栈内存的最大大小	至少512MB

• Cloudera Management Service

参数	解释	值
Activity Monitor 的 Java 堆栈大小		至少1GB
Alert Publisher 的 Java 堆栈		至少256MB
EventServer 的 Java 堆栈大小		至少1GB
Host Monitor 的 Java 堆栈大小		至少1GB
Host Monitor 的最大非 Java 内存		至少1.5GB
Service Monitor 的 Java 堆栈大小		至少1GB
Service Monitor 的最大非 Java 内存		至少1.5GB