一、问题描述
spark.sql.shuffle.partitions=200 spark sql默认shuffle分区是200个,如果数据量比较小时,写hdfs时会产生200个小文件。可通过如下调整,使其自适应的合并小文件(本人测试环境从原来的200个小文件合并成一个文件)
二、解决方案
启用 Adaptive Execution ,从而启用自动设置 Shuffle Reducer 特性
set spark.sql.adaptive.enabled=true;
设置每个 Reducer 读取的目标数据量,其单位是字节。默认64M,一般改成集群块大小
set spark.sql.adaptive.shuffle.targetPostShuffleInputSize=128000000;