hive中导入文件小文件问题

问题描述：
参考https://www.iteblog.com/archives/1533.html

一个表里面每个分区又300个小文件，小文件数量太多，就想把文件导入一个新表每个分区一个文件，这样就是只有map的任务

第一种方式：
SET hive.exec.dynamic.partition=true;
SET hive.exec.dynamic.partition.mode=nonstrict;
set hive.merge.mapfiles = true;//map输出合并，默认开启
set hive.merge.size.per.task = 128000000;//合并而成的文件的大小
set hive.merge.smallfiles.avgsize=50000000;//忘了
insert overwrite table data_mining.two partition (part_dt) select * from data_mining.f_xcf_user_vip_info
WHERE part_dt =‘2017-09-24’

设置map端输出合并，同时设置要合并的文件的大小，这种方法受限，不能很好地把握产生多少个文件，只能自己设置参数过去

第二种方式：
SET mapred.reduce.tasks=1;
SET hive.exec.dynamic.partition=true;
SET hive.exec.dynamic.partition.mode=nonstrict;
INSERT OVERWRITE TABLE data_mining.two PARTITION (part_dt)
SELECT *
FROM data_mining.f_xcf_user_vip_info
WHERE part_dt =‘2017-09-24’
distribute by RAND()
reduce个数通过第一个设置，后面的distribute by 是shuffle中按照什么进入reduce，这样可以凭空造出来reduce步骤从而使得输出的文件只有一个，个数由reduce决定。拓展一下，那这个东西也可以解决数据倾斜的问题咯？