Spark学习之路（十二）SparkCore的调优之资源调优

最新推荐文章于 2022-03-31 09:53:05 发布

王知无(import_bigdata)

最新推荐文章于 2022-03-31 09:53:05 发布

阅读量389

点赞数 1

分类专栏： Spark系统性学习专栏

原创文章禁止转载。否则追究法律后果。

本文链接：https://blog.csdn.net/u013411339/article/details/113796957

版权

Spark系统性学习专栏专栏收录该内容

30 篇文章 8 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

本文详细介绍了Spark作业的运行原理，强调了资源参数调优的重要性。主要内容包括：num-executors、executor-memory、executor-cores、driver-memory、spark.default.parallelism、spark.storage.memoryFraction和spark.shuffle.memoryFraction等关键参数的调优建议，如executor数量通常设置为50-100个，executor内存4-8GB，executor核心2-4个，以及task数量通常设置为Executor CPU核心数的2-3倍等。通过合理设置这些参数，可以提升Spark作业的执行性能。

摘要由CSDN通过智能技术生成

《2021年最新版大数据面试题全面开启更新》

欢迎关注github《大数据成神之路》

一、概述
二、Spark作业基本运行原理
三、资源参数调优
3.1　num-executors
3.2　executor-memory
3.3　executor-cores
3.4　driver-memory
3.5　spark.default.parallelism
3.6　spark.storage.memoryFraction
3.7　spark.shuffle.memoryFraction

一、概述

在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。资源参数设置的不合理，可能会导致没有充分利用集群资源，作业运行会极其缓慢；或者设置的资源过大，队列没有足够的资源来提供，进而导致各种异常。总之，无论是哪种