distribute by控制分区文件数

distribute by是控制在map端如何拆分数据给reduce端的。hive会根据distribute by后面列，对应reduce的个数进行分发，默认是采用hash算法.
大部分情况都用于解决Map输出的文件大小不均,Reduce输出文件大小不均,小文件过多,文件超大等情况.
背景:
1.在很多情况下,使用spark sql insert overwrite 表时,由于spark.sql.shuffle.partitions的限定导致分区文件数过多的情况
2.动态分区过多,个别分区下文件大小不均,例如数据延迟等情况,如何控制不同分区下文件的个数

第一种情况: 采用下面方式可以控制此分区下文件个数,具体由业务决定
        insert overwrite  table temp partition(day)
        select c.* from 
        (select a.*,    cast(rand() * 10 as int) as fileNum
       (select * from user ) a 
        left join 
        (select * from test) b 
        on a.user_id =b.user_id ) c distribute by fileNum
        
第二种情况:由于面对多个分区,每个分区下数据大小不一致,代码中往往是在创建临时表时重分区控制最终的文件数,但并不能满足所有分区.

解决方式:distribute by rand() 将对数据进行打散,打散的数据会根据spark.sql.shuffle.partitions=20的数进行重分区.此时,只需要控制partition下同分区的rand() (即random_fileNum)即可,最终 random_fileNum 会与 spark.sql.shuffle.partitions 做hash算法.

 

代码示例:

private static int RANDOM_RANGE = 20000;
private static HashMap<String,Integer> groupCounter = new HashMap<String,Integer>();


public static synchronized  int getRandomInt(String group){
   int temp = 0;
   if(groupCounter.containsKey(group)){
      temp = (groupCounter.get(group)+1)%RANDOM_RANGE;
   }
   groupCounter.put(group,temp);
   return temp;
}

    根据时间跨度调度groupCounter,赋值给random_fileNum

if(TimeUtil.timeCompare(TimeUtil.getNDayBeforeCurrentDate(valueDay,-7,"yyyyMMdd"),valueDay,timeYMD)){
   temp.setRandom_fileNumr(Tools.getRandomInt(timeYMD));
}else{
   temp.setRandom_fileNum(timeYMD.hashCode()%20);
}

    insert overwrite  table temp partition(day,varsion)
    select * from temp distribute by random_fileNum

上述我设置的spark.sql.shuffle.partitions=20,根据数据情况RANDOM_RANGE = 20000(可根据最大文件区间设置此值足够大)

最后结果近七天内分区文件数为20,七天开外文件数为1

总结:上述两种情况 都会根据 distribute by random_fileNum 中 的 random_fileNum 与 spark.sql.shuffle.partitions 做hash,相同hash值会聚合到同一个reduce中，从而控制最终文件数