hive sql优化

Matthew117

已于 2022-10-22 20:32:25 修改

阅读量178

点赞数

分类专栏： hive 文章标签： hive 大数据 hadoop

于 2022-10-22 20:26:23 首次发布

本文链接：https://blog.csdn.net/matthew93/article/details/127466834

版权

hive 专栏收录该内容

6 篇文章 0 订阅

订阅专栏

避免笛卡尔积

尽量避免笛卡尔积，即避免join的时候不加on条件，或者无效的on条件，Hive只能使用1个reducer来完成笛卡尔积。

Count(distinct)

SELECT count(DISTINCT id) FROM bigtable;

SELECT count(id) FROM (SELECT id FROM bigtable GROUP BY id) a;

map端join

--（1）是否在Map端进行聚合，默认为True
set hive.map.aggr = true;
--（2）在Map端进行聚合操作的条目数目（阈值）
set hive.groupby.mapaggr.checkinterval = 100000;
--（3）有数据倾斜的时候进行负载均衡（默认是false）
set hive.groupby.skewindata = true;

默认情况下，Map阶段同一Key数据分发给一个reduce，当一个key数据过大时就倾斜了。
并不是所有的聚合操作都需要在Reduce端完成，很多聚合操作都可以先在Map端进行部分聚合，最后在Reduce端得出最终结果。

当选项设定为 true，生成的查询计划会有两个MR Job。第一个MR Job中，Map的输出结果会随机分布到Reduce中，每个Reduce做部分聚合操作，并输出结果，这样处理的结果是相同的Group By Key有可能被分发到不同的Reduce中，从而达到负载均衡的目的；第二个MR Job再根据预处理的数据结果按照Group By Key分布到Reduce中（这个过程可以保证相同的Group By Key被分布到同一个Reduce中），最后完成最终的聚合操作。