Spark提交任务时指定资源

最新推荐文章于 2023-08-23 22:46:05 发布

飞Link

最新推荐文章于 2023-08-23 22:46:05 发布

阅读量953

点赞数

分类专栏：面试题文章标签： spark 大数据 big data

本文链接：https://blog.csdn.net/feizuiku0116/article/details/121686265

版权

面试题专栏收录该内容

44 篇文章 1 订阅

订阅专栏

--spark-submit
--master yarn               # 用yarn来管理资源
--deploy-mode cluster
--executor-cores            # 每个excutor进程分配多少个内核，一般指定为【3-5】个
--num-executors 50          # 一共申请多少个executor进程
--executor-memory 12G       # 每个executor进程分配多少内存，（yarn的cpu与内存的配比是1核：3~5G内存）
--driver-cores 2            # 一个driver的CPU数
--driver-memory 2G          # 一个driver的内存大小