Hive语法优化之分组聚合优化

delinr

已于 2022-11-15 02:24:34 修改

阅读量806

点赞数

分类专栏： hive 文章标签： hive hadoop 大数据

于 2022-11-15 02:19:32 首次发布

本文链接：https://blog.csdn.net/delinr/article/details/127858568

版权

本文介绍了Hive中的分组聚合优化，通过启用map-side聚合减少Shuffle数据量，提升执行效率。讨论了如何设置相关参数，包括启用map-side聚合的开关、数据适合map-side聚合的检测比值和数据条数，以及flush比例的调整，以解决优化过程中遇到的问题。

摘要由CSDN通过智能技术生成

Hive语法优化之分组聚合优化

优化说明

Hive中未经优化的分组聚合，是通过一个MapReduce Job实现的。Map端负责读取数据（Select Operator读； Reduce Output Operator取），然后按照分组字段分区，通过Shuffle，将数据发往Reduce端，各Map读取的数据在Reduce端聚合（Group by Operator），最终得到结果。

未优化的一个分组聚合执行计划如下：

请添加图片描述

很明显，未经优化的Map端如果没有聚合，会输出大量数据走Shuffle，会拉低程序执行效率。

英语生词说明:
stage	[steɪdʒ]	n.阶段,时期
operator	[ˈɒpəreɪtə(r)]	n.操作器,操作员
table	[ˈteɪb(ə)l]	n.桌子,表格
scan	[skæn]	v.扫描,浏览

而Hive对分组聚合的优化主要围绕着减少Shuffle数据量进行，具体做法就是在Map端（map-side）聚合。所谓map-side聚合，就是在map端维护一个hash table，利用其完成部分的聚合，然后将部分聚合的结果，按照分组字段分区，发送至Reduce端，完成最终的聚合。map-side聚合能有效减少Shuffle的数据量，从而提高分组聚合运算的效率。

优化后的一个