- SQL-Client
- select * from table1
distribute by rand(); - select /+ REPARTITION(200) / a. from table1 a;
select /+ COALESCE(200) / a. from table1 a;
- API
用 coalesce或者repartition,num=(1.0*(df.count())/7000000).ceil.toInt
- df.coalesce(num)
- df.repartition(num)
- Spark SQL自适应功能,目前Spark 的各版本的Release中其实也就两个参数,设spark.sql.adaptive.enabled=true即可开启该功能,spark.sql.adaptive.shuffle.targetPostShuffleInputSize设置reduce任务处理文件的上限,配合结论3使用,解决小文件问题事半功倍
注意:repartition会产生大量shuffle操作,会占用很大资源,有可能引入数据倾斜的问题,还有OOM的风险,如果不需要输出文件大小均匀的情况下,推荐使用coalesce来合并小文件