![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
yarn
文章平均质量分 88
csdn-延
好记性不如个烂笔头
展开
-
大数据之Yarn和Spark配置与说明
Executor关闭后,其输出的文件,也就无法供其他Executor使用了。在将NodeManager的总内存平均分配给每个Executor,最后再将单个Executor的内存按照大约10:1的比例分配到spark.executor.memory和spark.executor.memoryOverhead。此处的Executor个数是指分配给一个Spark应用的Executor个数,Executor个数对于Spark应用的执行速度有很大的影响,所以Executor个数的确定十分重要。转载 2023-08-20 21:35:49 · 345 阅读 · 0 评论 -
CDH集群之YARN性能调优
本文主要讨论CDH集群的YARN调优配置,关于YARN的调优配置,主要关注CPU和内存的调优,其中CPU是指物理CPU个数乘以CPU核数,即Vcores = CPU数量*CPU核数。YARN是以container容器的形式封装资源的,task在container内部执行。集群配置集群的配置主要包括三步,第一是先规划集群的工作主机以及每台主机的配置,第二是规划每台主机的安装的组件及其资源分配,第三是规划集群的规模大小。工作主机的配置如下表所示:主机的内存为256G,4个6核CPU,CPU支持超转载 2022-03-27 16:18:04 · 699 阅读 · 0 评论