spark sql合并小文件_sparksql合并小文件

查看sparksql支持的参数：spark-sql set -v

需要注意这种方式对Spark的版本有要求，建议在Spark2.4.X及以上版本使用，示例： INSERT ... SELECT /*+ COALESCE(numPartitions) */ ... INSERT ... SELECT /*+ REPARTITION(numPartitions) */

spark3.0支持自适应合并小文件，通过把参数spark.sql.adptive.enabled设置为true打开自适应。但是仅仅设置这个参数是不够，合并小文件还受其他参数影响。下面是我们生产的一个作业SQL，这个SQL执行完后这个表的每个分区都有800个文件，每个文件都是几M。当时就挺纳闷的，为什么都是800。于是去看生产spark的配置文件，发现如下关键参数

我们看看这个参数的描述：它和三个参数有关，这三个参数分别sparksql的默认分区数(spark.sql.shuffle.partitions，该值默认是200)、打开sparksql自适应参数spark.sql.adptive.enabled和分区合并小文件参数spark.sql.adptive.coalescePatitions.enabled有关。需要自适应和分区合并小文件都打开才生效。如果没有设置这个合并分区初始化分区数，那么合并小文件就按照sparksql的shuffle默认分区数启动。