基于cloudera manager的大数据集群平台搭建之集群配置优化

Yarn配置优化

配置修改统一在Cloudera-manager中进行修改，操作如下：


进入配置页面，选中左侧资源管理：

进行如下配置，这里的配置得根据当前NodeManager空闲内存来决定，可以看到cs02配置10GB内存，cs03-cs05配置12GB内存：



上面的0字节，是采用默认配置大小，并不是真的为0。
其他重要的配置参数解释：
1. 配置参数yarn.nodemanager.local-dirs：
NodeManager会通过参数yarn.nodemanager.local-dirs和yarn.nodemanager.log-dirs配置一系列目录（磁盘），用于存储Application中间结果（比如MapReduce中Map Task的中间输出结果）和日志文件。
2. 配置参数yarn.nodemanager.resource.memory-mb：
表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。
3. 配置参数yarn.scheduler.maximum-allocation-mb：
单个任务可申请的最少物理内存量，默认是1024（MB），如果一个任务申请的物理内存量少于该值，则该对应的值改为这个数。

更多Yarn配置优化参考：
https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_yarn_tuning.html

Spark配置优化

Spark在Cloudera-Manager中的配置修改不多，因为我们采用的spark on yarn的部署方式，更多的是对于Yarn的配置优化，但是在我们使用spark-submit、spark-shell等命令的时候根据不同的任务进行参数配置，使用spark-submit –help即可查看可以添加的参数