Presto之Union算子的实现

一. 前言

       在Presto中，Union的算子包括自动去重的Union操作和不去重的Union All操作。本文主要简述在Presto中Union All算子是如何实现和Union算子中是如何实现数据去重的。

二. Presto之Union的实现

      1. 首先在g4中将sql的union关键词与setOperation进行绑定

    2. AstBuilder中将SetOperation转化成UnionOperator

   3.  在AddLocalExchanges的执行计划中将UnionOperator转化为ExchangeOperator

      4. 最后，通过Exchange的Gather功能，将3中的所有source的数据进行汇聚，实现Union的操作，如下所示：

 

三. Union的去重实现

      在Presto中，如果Union中没有显式带all的话，Presto在做Union的时候，会自动对数据进行去重处理，在Presto中，数据的去重是通过HashAggregateOperator实现的，如下是一个Union去重的执行计划：

        HashAggregateOperator对数据实现去重操作其实和Presto 聚合中groupBy分组的实现_presto groupby_王飞活的博客-CSDN博客 过程是一样的，核心操作主要为如下两部分：

       1. 对进来的数据Hash列求取Hash值，再通过Hash值在groupAddressByHash数组中确认是否已被标记，如果已经被标记，则说明已经有相同的数据被处理过了，此行无需重复做处理，因此可以对此行数据不需要做任何处理。相反，如果在groupAddressByHash中数组中没有发现此Hash值被标记，则将此Hash值推入groupAddressByHash中，并且分配一个递增的groupId。

      2.  利用上述递增的groupId构建输出数据，在输出Page时只选取0-groupId内的数据，因为Hash值是一样的，对应的groupId也是一样的，因此在输出Page中不会重复出现，从而实现了数据的去重能力。