2021-11-02

hive数据倾斜优化

—表连接数据倾斜(join skew in)的优化

1. 运行时优化

   set hive.optimize.skewjoin=true;
   触发时间:在执行计划生成之后,真正开始执行时
   优化逻辑:
   - 在处理计算时,先将数据倾斜的较大数据存入hdfs
   - 等小数据计算完,从hdfs中读取存入的数据
   - 开启mapjoin,进行处理
   - 最后将两份数据进行union all 操作

2. 编译时优化
   — 指定触发编译时优化的数据行数(阈值)
   set hive.optimize.skewjoin.compiletime=true;

   —建表时指定数据倾斜的元数据
   SKEWED BY (倾斜的字段) ON (需要拆分的key值)

两种优化最后都有将处理后的倾斜数据 unoin一起,这里的union操作,可以进一步优化:

set hive.optimize.union.remove=true;

---

-----分组统计数据倾斜的优化(Groupby skew in)

1.Map阶段聚合

设置:set hive.map.aggr=true;
优化:开启map端combiner。此配置可以在group by语句中提高HiveQL聚合的执行性能。这个设置
可以将顶层的聚合操作放在Map阶段执行，从而减轻数据传输和Reduce阶段的执行时间，提升总体性能。默认开启，无需显示声明。

2.两个MRJob

设置:set hive.groupby.skewindata=true;(默认关闭)

说明:这个配置项是用于决定group by操作是否支持倾斜数据的负载均衡处理。当数据出现倾斜时，
如果该变量设置为true，那么Hive会自动进行负载均衡。
当选项设定为 true，生成的查询计划会有两个 MR Job。
第一个MR Job中，Map 的输出结果集合会随机分布到Reduce中，每个Reduce做部分聚合操
作，并输出结果，这样处理的结果是相同的Group By Key有可能被分发到不同的Reduce中，从而
达到负载均衡的目的；
第二个MR Job再根据预处理的数据结果按照Group By Key分布到Reduce中（这个过程可以保
证相同的Group By Key被分布到同一个Reduce中），最后完成最终的聚合操作。

> 注意：在多个列上进行的去重操作与hive环境变量hive.groupby.skewindata存在冲突。
> 当hive.groupby.skewindata=true时，hive不支持多列上的去重操作，并报错：

Error in semantic analysis: DISTINCT on different columns not supported with skew in data