hive 数据优化

影响Mapper的数量
1）文件数量
2）文件大小，根据下面参数进行切割
set mapred.max.split.size=128000000

影响Reducer数量
mapred.reduce.tasks(强制指定reduce的任务数量)
hive.exec.reducers.bytes.per.reducer（每个reduce任务处理的数据量，默认为1000^3=1G）
hive.exec.reducers.max（每个任务最大的reduce数，默认为999）
计算reducer数的公式很简单N=min( hive.exec.reducers.max ，总输入数据量/ hive.exec.reducers.bytes.per.reducer )

Join优化
1、多表Join时，大表放在最后，小表在前
2、小表使用MapJoin
小于25M的表转为MapJoin，参数调整：
set hive.mapjoin.smalltable.filesize=25000000
set hive.auto.convert.join=true; 默认开启

Group By优化
如果出现数据倾斜，应当做如下处理：
set hive.exec.reducers.max=200;
set mapred.reduce.tasks= 200;
—增大Reduce个数
set hive.groupby.mapaggr.checkinterval=100000 ;
—这个是group的键对应的记录条数超过这个值则会进行分拆,值根据具体数据量设置
set hive.groupby.skewindata=true;
–如果是group by过程出现倾斜 应该设置为true
set hive.skewjoin.key=100000;
–这个是join的键对应的记录条数超过这个值则会进行分拆,值根据具体数据量设置
set hive.optimize.skewjoin=true;
–如果是join 过程出现倾斜 应该设置为true

并行
hive.exec.parallel参数控制在同一个sql中的不同的job是否可以同时运行,默认为false.
在资源充足的时候hive.exec.parallel会让那些存在并发job的sql运行得更快,但同时消耗更多的资源

1.select count(distinct order_no) from dw_order_v1
2.select count(order_no) from (select order_no from dw_order_v1 group by order_no)aa

使用Distinct会将所有order_no都shuffle到一个reducer中，这就导致了数据倾斜。
而Group By会启动多个reducer，将数据均匀的分布到多个CPU上执行。
这样速度就会快很多。

对于数据倾斜，以上是基本的参数优化，具体还要看效果，最好从业务角度进行调优，比如打散数据 & 随机函数

select 
    t1.logdate, 
    t1.cuid, 
    t2.wid 
from temp.qyy_test_1 t1 
left join d_extra.dm_user_wid_msg t2 
    on ( if (t1.wid > 0,t1.wid, cast(ceiling(rand() * -65535) as bigint)) = t2.wid ) ;