大家好,我是曜耀
今天,曜耀带大家了解一下hive的核心复盘
以下是曜耀找的资料。
hive.groupby.skewindata=true 有数据倾斜的时候进行负载均衡,当选项设定为 true,生成的查询计划会有两个 MR Job。第一个 MR Job 中,Map 的输出结果集合会随机分布到 Reduce 中,每个 Reduce 做部分聚合操作,并输出结果,这 样处理的结果是相同的 Group By Key 有可能被分发到不同的 Reduce 中,从而达到负载均衡的目的;第 二个 MR Job 再根据预处理的数据结果按照 Group By Key 分布到 Reduce 中(这个过程可以保证相同的 Group By Key 被分布到同一个 Reduce 中),最后完成最终的聚合操作。
SQL语句调节: 大小表Join: 使用map join让小的维度表(1000条以下的记录条数) 先进内存。在map端完成reduce. 大表Join大表: 把空值的key变成一个字符串加上随机数,把倾斜的数据分到不同的reduce上,由于null值关联不上,处 理后并不影响最终结果。 count distinct大量相同特殊值 count distinct时,将值为空的情况单独处理,如果是计算count distinct,可以不用处理,直接过滤,在 最后结果中加1。如果还有其他计算,需要进行group by,可以先将值为空的记录单独处理,再和其他计 算结果进行union。 针对去重求和的需求还可以这样做: 采用sum() group by的方式来替换count(distinct)完成计算。 特殊情况特殊处理: 在业务逻辑优化效果的不大情况下,有些时候是可以将倾斜的数据单独拿出来处理。最后union回去。
曜耀在看得时候也有写不理解就,不过说白了其中的核心就是对Mapr进行优化,是得数据可以更加稳定的拿到,并却准我们要的数据是有价值的。