spark2-submit:yarn cluster模式参数配置
考虑CDH集群运行,约占5%-10%,每台预留3核心以及4G内存。
集群规模:3台48核64g
群集中核心的可用总数: (48-3) x 3 = 135
每个executor分配3核心,
–executor-cores 135/3 = 45 (总可用核数 / 每个节点核心数)
–num-executors 45/3 = 15(executors核数 / 每个节点核心数)
–executor-memory 60/15 = 4g (内存总剩余 / 每个节点ex
原创
2020-12-16 16:26:28 ·
402 阅读 ·
0 评论