Hive优化的重点——数据倾斜

数据倾斜的含义

• 数据倾斜是进行大数据计算时最经常遇到的问题之一。当我们在执行 HiveQL 或者运行 MapReduce 作业时候，如果遇到一直卡在 map100%,reduce99%一般就 是遇到了数据倾斜的问题。
• 数据倾斜其实是进行分布式计算的时候，某些节点的计算能力比较强或者需 要计算的数据比较少，早早执行完了，某些节点计算的能力较差或者由于此节点 需要计算的数据比较多，导致出现其他节点的 reduce 阶段任务执行完成，但是 这种节点的数据处理任务还没有执行完成。单一 reduce 的记录数与平均记录数 差异过大，通常可能达到 3 倍甚至更多。 最长时长远大于平均时长。

数据倾斜的主要原因

在 hive 中产生数据倾斜的原因：
1.key 分布不均匀
2.业务数据本身的特性
3.建表时考虑不周
4.某些 SQL 语句本身就有数据倾斜

数据倾斜的主要解决方法

1、调整Map数

• 问题1，Map 数的决定因素有哪些？通常情况下，作业会通过 input 的目录产生一个或者多个 map 任务。主要的决定因素有：input 的文件总个数，input 的文件大小，集群设置的文件块大小。
• 问 2：是不是设置 map 数越多越好？ 答案是否定的。如果一个任务有很多小文件（远远小于块大小 128m），则 每个小文件也会被当做一个块，用一个 map 任务来完成，而一个 map 任务启动 和初始化的时间远远大于逻辑处理的时间，就会造成很大的资源浪费。而且，同 时可执行的 map 数是受限的。
• 问 3：是不是保证每个 map 处理接近 128m 的文件块，就没问题了？ 答案也是不一定。比如有一个 127m 的文件，正常会用一个 map 去完成， 但这个文件只有一个或者两个小字段，却有几千万的记录，如果 map 处理的逻 辑比较复杂，用一个 map 任务去做，肯定也比较耗时。
• 针对上面的问题 2 和 3，我们需要采取两种方式来解决：即减少 map 数和增 加 map 数；

（1）小文件合并

• 小文件进行合并，减少map数（默认开启）
  在 map 执行前合并小文件，减少 map 数：
  CombineHiveInputFormat 具有对小文件进行合并的功能（系统默认的格式）。 set hive.input.format= org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
  注意：HiveInputFormat 没有对小文件合并功能

（2）.复杂文件增加 Map 数

• 当 input 的文件都很大，任务逻辑复杂，map 执行非常慢的时候，可以考虑 增加 Map 数，来使得每个 map 处理的数据量减少，从而提高任务的执行效率。 MapReduce 中没有办法直接控制 map 数量，可以通过设置每个 map 中处理 的数据量进行设置。 增加 map 的方法为：根据公式，调整 maxSize 最大值： computeSliteSize(Math.max(minSize,Math.min(maxSize,blocksize)))=blocksize=128M 让 maxSize 最大值低于 blocksize 就可以增加 map 的个数。

示例演示
执行查询：

hive (default)> select count(*) from emp; 
Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 1

设置最大切片值为 100 个字节：

hive (default)> set mapreduce.input.fileinputformat.split.maxsize=100; 
hive (default)> select count(*) from emp; 
Hadoop job information for Stage-1: number of mappers: 6; number of reducers: 1

2、调整 Reduce数

（1）调整 reduce 个数方法一

1）每个 Reduce 处理的数据量默认是 256MB

hive.exec.reducers.bytes.per.reducer=256000000 

2）每个任务最大的 reduce 数，默认为 1009

hive.exec.reducers.max=1009 

3）计算 reducer 数的公式

N=min(hive.exec.reducers.max，总输入数据量/hive.exec.reducers.bytes.per.reducer)

（2）调整 reduce 个数方法二

在 hadoop 的 mapred-default.xml 文件中修改 设置每个 job 的 Reduce 个数 set

mapreduce.job.reduces = 15;

reduce 个数并不是越多越好：
1）过多的启动和初始化 reduce 也会消耗时间和资源；
2）另外，有多少个 reduce，就会有多少个输出文件，如果生成了很多个小文件，那么如果这些小文件作为下一个任务的输入，则也会出现小文件过多的

在设置 reduce 个数的时候也需要考虑这两个原则：
a.处理大数据量利用合适的 reduce 数；
b.使单个 reduce 任务处理数据量大小要合适。

3、根据出现的场景做调整

（1）group by 产生数据倾斜

• 使用Hive对数据做一些类型统计的时候遇到过某种类型的数据量特别多，而其他类型数据的数据量特别少。当按照类型进行 group by 的时候，会将相同的 group by 字段的 reduce 任务需要的数据拉取到同一个节点进行聚合，而当其中每一组的数据量过大时，会出现其他组的计算已经完成而这里还没计算完成，其他节点的一直等待这个节点的任务执行完成，所以会看到一直 map 100% reduce 99%的情况。

解决方法：
a.开启 Map 端聚合参数设置。

（1）是否在 Map 端进行聚合，默认为 True 
set hive.map.aggr = true; 
（2）在 Map 端进行聚合操作的条目数目 
set hive.groupby.mapaggr.checkinterval = 100000; 
（3）有数据倾斜的时候进行负载均衡（默认是 false） 
set hive.groupby.skewindata = true;

b.或者根据业务，合理调整分组维度

（2）当 HiveQL 中包含 count（distinct）时

• 如果数据量非常大，执行如 select a,count(distinct b) from t group by a;类型的 SQL 时，会出现数据倾斜的问题。

解决方法：
a.使用 sum…group by 代替。
如:select a,sum(1) from (select a, b from t group by a,b) group by a;
b. 在业务逻辑优化效果的不大情况下，有些时候是可以将倾斜的数据单独 拿出来处理。最后 union 回去。

（3）大表join 小表

解决方法： 使用 mapjoin 将小表加载到内存中。

（4）空值产生的数据倾斜

• 遇到需要进行 join 的但是关联字段有数据为空。
• 场景：如日志中，常会有信息丢失的问题，比如日志中的 user_id，如果取 其中的 user_id 和 用户表中的 user_id 关联，会碰到数据倾斜的问题。
• 数据量大时也会产生数据倾斜，如表一的 id 需要和表二的 id 进行关联。

解决方法：
a.id 为空的不参与关联；

select 
	* 
from 
	log a 
join 
	users b 
on 
	a.user_id is not null 
and 
	a.user_id = b.user_id 
union all 
select 
	* 
from 
	log a 
where 
	a.user_id is null; 

b.给空值分配随机的 key 值。

select
	* 
from 
	log a 
left outer join 
	users b 
on 
	case when a.user_id is null then concat(‘hive’,rand() ) else a.user_id end = b.user_id; 

一般分配随机 key 值得方法更好一些。

（5）通用的一些数据倾斜的处理方法

合理设置 map 和 reduce 数