Hive-数据倾斜和作业优化

1，数据倾斜解决： 

    看下key的分布 处理集中的key 原因

1)、key分布不均匀（实际上还是重复） 比如 group by 或者 distinct的时候

2)、数据重复，join 笛卡尔积 数据膨胀 表现 任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成。因为其处理的数据量和其他reduce差异过大。 单一reduce的记录数与平均记录数差异过大，通常可能达到3倍甚至更多。 最长时长远大于平均时长。

解决方案：

  1，看下业务上，数据源头能否对数据进行过滤，比如 key为 null的，业务层面进行优化。

  2，找到key重复的具体值，进行拆分，hash。异步求和。

Hive调优-作业优化

调整mapper和reducer的数量

  太多map导致启动产生过多开销 按照输入数据量大小确定reducer数目

  set mapred.reduce.tasks=  默认3

  dfs -count  /分区目录/* hive.exec.reducers.max设置阻止资源过度消耗

  参数调节 set hive.map.aggr = true （hive2默认开启） Map 端部分聚合，相当于Combiner hive.groupby.skewindata=true