大数据面试题：数据倾斜解决方法

        日常工作中数据倾斜主要发生在Reduce阶段，而很少发生在 Map阶段，其原因是Map端的数据倾斜一般是由于HDFS数据存储不均匀造成的（一般存储都是均匀分块存储，每个文件大小基本固定），而Reduce阶段的数据倾斜几乎都是因为key值数据量偏多的情况而导致的。

解决方法：

1：

set hive.groupby.skewindata=true;

        如果任务长时间卡在99%则基本可以认为是发生了数据倾斜，建议调整参数以实现负载均衡，原理：生成的查询计划会有两个MRJob。第一个MRJob 中，Map的输出结果集合会随机分布到Reduce中，每个Reduce做部分聚合操作，并输出结果，这样处理的结果是相同的GroupBy Key有可能被分发到不同的Reduce中，从而达到负载均衡的目的；第二个MRJob再根据预处理的数据结果按照GroupBy Key分布到Reduce中（这个过程可以保证相同的GroupBy Key被分布到同一个Reduce中），最后完成最终的聚合操作

2:小表关联大表操作，使用Mapjoin：

set hive.auto.convert.join=true;--自动开启MAPJOIN优化，默认值为true
set hive.mapjoin.smalltable.filesize=2500000;--通过配置该属性来确定使用该优化的表的大小，如果表的大小小于此值就会被加载进内存中，默认值为2500000(25M)

3:Join操作注意关联字段不能出现大量的重复值或者空值

4:Count(distinct id ) 去重统计要慎用，尽量通过其他方式替换