Hive优化--分组聚合

谨言&慎独

已于 2023-03-07 23:41:05 修改

阅读量330

点赞数

文章标签： hadoop hive Powered by 金山文档

于 2023-03-07 23:38:30 首次发布

本文链接：https://blog.csdn.net/yyGeek/article/details/129394341

版权

Hive通过map-side聚合来优化分组聚合操作，减少Shuffle数据量，提高效率。此方法在map端使用hashtable进行部分聚合，然后将结果发送到reduce端完成最终聚合。启用map-side聚合的设置包括检查源表是否适合聚合的条件以及内存阈值管理。

摘要由CSDN通过智能技术生成

故事背景：

未经优化的分组聚合在Hive里面，是通过一个MapReduceJob实现的。

Map端负责读取数据，并按照分组字段分区，通过Shuffle，将数据发往Reduce端，各组数据在Reduce端完成最终的聚合运算。

思路：

Hive对分组聚合的优化主要围绕着减少Shuffle数据量进行，具体做法是map-side聚合。

map-side聚合，就是在map端维护一个hash table，利用其完成部分的聚合，然后将部分聚合的结果，按照分组字段分区，发送至reduce端，完成最终的聚合。

map-side聚合能有效减少shuffle的数据量，提高分组聚合运算的效率。

--启用map-side聚合
set hive.map.aggr=true;

-- 用于检测源表数据是否适合进行map-side聚合。
-- 检测的方法是：先对若干条数据进行map-side聚合，若聚合后的条数和聚合前的条数比值小于该值，
-- 则认为该表适合进行map-side聚合；
-- 否则，认为该表数据不适合进行map-side聚合，后续数据便不再进行map-side聚合。
set hive.map.aggr.hash.min.reduction=0.5;

--用于检测源表是否适合map-side聚合的条数。
set hive.groupby.mapaggr.checkinterval=100000;

--map-side聚合所用的hash table，占用map task堆内存的最大比例，若超出该值，则会对hash table进行一次flush。
set hive.map.aggr.hash.force.flush.memory.threshold=0.9;