spark参数调优

set spark.sql.caseSensitive=FALSE; 设置不区分大小写
set spark.speculation.interval='500';--检测周期，单位为毫秒
set spark.speculation.quantile='0.75';--完成task的百分比时启动推测
set spark.speculation.multiplier='1.5'; --比其它的慢多少倍时启动推测
set spark.streaming.concurrentJobs='3'; --控制job并发度，启动线程执行
set spark.sql.codegen =true;--将查询语句运行时编译为java二进制代码，适合大型查询

set spark.sql.parquet.compressed.codec=gzip;

spark.shuffle.consolidateFiles=true;--合并shuffle中间文件，此时文件数为reduce tasks数目,默认情况下shuffle文件数目为map tasks * reduce tasks