sparksql源码系列 | 一文搞懂with one count distinct 执行原理

今天下午的源码课，主要是对上两次课程中留的作业的讲解，除了几个逻辑执行计划的优化器外， 重点是planAggregateWithOneDistinct（有一个count distinct情况下生成物理执行计划的原理）。

在面试时，或多或少会被问到有关count distinct的优化，现在离线任务用到的基本就是hivesql和sparksql，那sparksql中有关count distinct做了哪些优化呢？

实际上sparksql中count distinct执行原理可以从两个点来说明：

• with one count distinct

• more than one count distinct

这篇文章主要聊一聊 with one count distinct，如果你正好也想了解这块，就点赞、收藏吧~

ps：文中有两个原理的图片比较大，上传上来之后会有点不清晰，如果有需要的朋友可文末加俺，俺发你

本文基于spark 3.2

本文大纲

1、Aggregate函数的几种mode

2、生成WithOneDistinct物理执行计划的几个阶段

3、除了count distinct，没有其他非distinct聚合函数的情况的执行原理

4、除了count distinct，有其他非distinct聚合函数的情况的执行原理

5、关键点调试

6、总结

1、Aggregate函数的几种mode

Partial: 局部数据的聚合。会根据读入的原始数据更新对应的聚合缓冲区，当处理完所有的输入数据后，返回的是局部聚合的结果

PartialMerge: 主要是对Partial返回的聚合缓冲区（局部聚合结果）进行合并，但此时仍不是最终结果，还要经过Final才是最终结果(count distinct 类型)

Final: 起到的作用是将聚合缓冲区的数据进行合并，然后返回最终的结果

Complete: 不进行局部聚合计算，应用在不支持Partial模式的聚合函数上（比如求百分位percentile_approx）

非distinct类的聚合函数的路线：Partial --> Final

distinct类的聚合函数的路线：Partial --> PartialMerge --> Partial --> Final

2、生成WithOneDistinct物理执行计划的几个阶段

• partialAggregate

• partialMergeAggregate

• partialDistinctAggregate