Spark避免小文件

• SQL-Client

1. select * from table1
   distribute by rand();
2. select /+ REPARTITION(200) / a. from table1 a;
   select /+ COALESCE(200) / a. from table1 a;

• API

用 coalesce或者repartition，num=(1.0*(df.count())/7000000).ceil.toInt

1. df.coalesce(num)
2. df.repartition(num)
3. Spark SQL自适应功能，目前Spark 的各版本的Release中其实也就两个参数，设spark.sql.adaptive.enabled=true即可开启该功能，spark.sql.adaptive.shuffle.targetPostShuffleInputSize设置reduce任务处理文件的上限，配合结论3使用，解决小文件问题事半功倍

注意：repartition会产生大量shuffle操作，会占用很大资源，有可能引入数据倾斜的问题，还有OOM的风险，如果不需要输出文件大小均匀的情况下，推荐使用coalesce来合并小文件