本文探讨了Hive的优化过程，包括逻辑优化器的各种组件，如列裁剪、谓词下推、分区减裁等。同时介绍了如何通过Groupby optimizer进行预聚合，以及使用Bucket map join和Sortedmergebucket map join提升MapJoin效率。此外，还提到了Unionprocessor在处理Union查询时的作用以及Join reader在特定join操作中的应用。
1. 逻辑优化器
LineageGenerato：各operator血缘情况的设定
Columnpruner ：列前裁优化器
Predicate PushDown：谓词下推优化器，将条件推到特定的位置
Partition Pruner：分区减裁优化器
PartitionCondition Pruner：消除无用分支分区条件的优化器
Groupby optimizer：group优化map端预聚合的优化器
sampleprunner：抽样优化器，降低抽样的数量
Bucket map join：对分桶表做Mapjoin优化器
Sortedmergebucket map join：对sorted bucket表做map join 的优化
Unionprocessor：识别union两边的子查询是否都是map only的？
什么是map only呢？
Join reader:/* streamtable*/指定join的驱动表
最低0.47元/天 解锁文章
扫一扫
4万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
