Hive调优(精品版)

一、数据倾斜

详见我的另外一篇blog： Hive数据倾斜调优(详细版)_wzluestc的博客-CSDN博客

二、数据链路太长

1．表现

整个代码中关联的表很多，DAG很长

2．原因

在mr引擎中，每个阶段的数据都会落地磁盘，链路太长，磁盘io的时间就会很多。

3．解决

将和小表common join转化成map join缩短任务链路，尽量使用tez引擎。

1.设置参数

set hive.auto.convert.join = true; – 开启map join
set hive.mapjoin.smalltable.filesize = 30000000; --小表的最大文件大小(30M)
set hive.auto.convert.join.noconditionaltask = true; --是否将多个mapjoin合并为一个
set hive.auto.convert.join.noconditionaltask.size = 30000000; --多个mapjoin转换为1个时，所有小表的文件大小总和的最大值。

2.调度任务默认引擎为tez，失败重试时会切换成mr。可以在代码设置参数

set hive.execution.engine=tez;<