本文探讨了Spark中的partition概念及其与task的关系，指出默认情况下，如果未设置`spark.default.parallelism`参数，可能会导致大量小任务，从而降低执行效率。在两台8核12GB内存的机器上，作者通过设置该参数将任务数从2.9万个减少到10个，执行时间从分钟级降至20秒。建议将任务与CPU核心数保持在2-3:1的比例，以充分利用集群资源。
spark中有partition的概念（和slice是同一个概念，在spark1.2中官网已经做出了说明），一般每个partition对应一个task。在我的测试过程中，如果没有设置spark.default.parallelism参数，spark计算出来的partition非常巨大，与我的cores非常不搭。我在两台机器上（8cores *2 +6g * 2）上，spark计算出来的partition达到2.8万个，也就是2.9万个tasks，每个task完成时间都是几毫秒或者零点几毫秒，执行起来非常缓慢。在我尝试设置了 spark.default.parallelism 后，任务数减少到10，执行一次计算过程从minute降到20second。
参数可以通过spark_home/conf/spark-default.conf配置文件设置。
eg.
最低0.47元/天 解锁文章
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
