Spark调优总结

最新推荐文章于 2025-04-28 20:22:48 发布

原创

最新推荐文章于 2025-04-28 20:22:48 发布 · 置顶 · 4.1k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#spark调优

本文总结了使用Spark过程中的调优经验，包括调整executor内存、设置JVM垃圾回收算法、存储与执行内存分配比例、缓存RDD、广播大变量、合理设置分区数量、优化SQL查询、使用高效的集合操作、谨慎使用collection、智能使用coalesce和repartition、提前执行filter、减少groupByKey的使用，以及关注任务执行的性能指标。通过这些技巧，可以有效提升Spark作业的性能和效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

下面主要是笔者根据使用Spark过程中的一些调优做一些汇总。

1、调整分配excutor memory

-num-executors 100 --executor-cores 4 --driver-memory 6g --executor-memory 6g

首先先将参数调大一点，然后程序跑通过后。再通过Spark任务的监控页面看资源使用的情况。再来调整各项目参数。一般情况下，调整这几个参数都会很有用。

2、调整JVM垃圾回收算法

可以通过 --conf 来批明使用的垃圾回收算法，对于多核处理器来说，一般是使用CMS+PartNew。自己也可以设置一些其它参数，如年轻代、年老代的各大小，垃圾回收日志的校园等。如下：

--conf "spark.driver.extraJavaOptions=-XX:PermSize=512m -XX:MaxPermSize=512m  -XX:+CMSClassUnloadingEnabled -XX:MaxTenuringThreshold=31 -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled -XX:+UseCMSCompactAtFullCollection -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=10 -XX:+UseCompressedOops -XX:+PrintGC -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintGCDateS

最低0.47元/天解锁文章