Spark性能调优----合理设置并行度

最新推荐文章于 2024-08-11 03:18:09 发布

XiaodunLP

最新推荐文章于 2024-08-11 03:18:09 发布

阅读量1.9k

点赞数

分类专栏： Spark 性能调优

本文链接：https://blog.csdn.net/XiaodunLP/article/details/88809975

版权

本文探讨了Spark性能调优中的关键点——合理设置并行度。解释了Spark并行度指的是作业中stage的task数量，并指出并行度应与资源匹配以避免浪费。介绍了提高并行度的方法，包括设置task数量为CPU核心的2~3倍，通过调整`spark.default.parallelism`，增加HDFS block数，使用`repartition`，以及在特定算子中指定partition数量等策略。

摘要由CSDN通过智能技术生成

Spark性能调优之合理设置并行度

1.Spark的并行度指的是什么？

spark作业中，各个stage的task的数量，也就代表了spark作业在各个阶段stage的并行度！

当分配完所能分配的最大资源了，然后对应资源去调节程序的并行度，如果并行度没有与资源相匹配，那么导致你分配下去的资源都浪费掉了。同时并行运行，还可以让每个task要处理的数量变少（很简单的原理。合理设置并行度，可以充分利用集群资源，减少每个task处理数据量，而增加性能加快运行速度。）

举例：

假如，现在已经在spark-submit 脚本里面，给我们的spark作业分配了足够多的资源，比如50个executor ，每个executor 有10G内存，每个executor有3个cpu core 。基本已经达到了集群或者yarn队列的资源上限。

task没有设置，或者设置的很少，比如就设置了，100个task 。 50个executor ，每个executor 有3个core ，也就是说
Application 任何一个stage运行的时候，都有总数150个cpu core ，可以并行运行。但是，你现在只有100个task ，平均分配一下࿰