spark参数说明及优化

1. spark.executor.memoryOverhead

1. 用途

spark.executor.memoryOverhead是用来设置executor进程额外内存占用的参数。在Spark中，executor进程除了需要用来处理数据的内存之外，还需要占用一定的内存用来执行一些额外的任务，比如JVM垃圾回收、线程栈等。spark.executor.memoryOverhead就是用来设置这部分额外内存的大小的参数。

2. 默认值

默认情况下，spark.executor.memoryOverhead的值是executor内存的10%。例如，如果executor内存大小是4G，则额外的内存占用大小为0.4G。可以通过调整spark.executor.memoryOverhead的值来优化executor进程的内存使用，避免executor进程因为内存不足而导致任务失败或者性能下降。

3. 注意事项

spark.executor.memoryOverhead一般不要设置得太大，否则会浪费内存资源。同时，该参数的设置也需要考虑到executor进程所在的物理机器的内存大小，避免因为过度占用内存导致整个物理机器的性能下降。

2. spark.sql.caseSensitive

set spark.sql.caseSensitive=true; 开启大小写敏感, 解决json中有大小写区分的key

合理并行度

set spark.default.parallelism=72;

set spark.sql.shuffle.partitions=72;

资源动态分配

set spark.dynamicAllocation.enabled=false;

推测机制

set spark.speculation=true;
set spark.speculation.interval=50000;
set spark.speculation.quantile=0.95;
set spark.speculation.multiplier=1.5;

Spark speculation（推测执行）详解

元数据方式

set spark.sql.hive.convertMetastoreParquet=true;

设定时区

set spark.sql.session.timeZone=UTC;

Listing leaf files任务并行度

set spark.sql.sources.parallelPartitionDiscovery.parallelism=72;

Spark 数据读取冷启动优化分析

20 参考链接

序号	链接
1	Spark参数优化
2

---