yarn、spark配置优化

在内存和磁盘很大的集群上装好ambari之后对yarn和spark相关的配置做如下优化修改

yarn：

每个节点可申请的内存应该配置到节点总内存的百分之八十左右。

 

每个节点可申请的cpu核数需要配置到机器cpu核数的最大

如果连接hiveserver2、spark thrift server的数量很大需要调大

 

 

spark：

 spark并行执行的任务数 = executor的数量 *spark.executor.cores