Presto查询执行模型

Presto查询执行模型

Presto执行SQL语句，并将这些语句转换为在分布式协调器和工作者集群上执行的查询。

• Statement
  statement语句是我们输入的SQL ，执行语句时，Presto会创建一个查询以及一个查询计划，然后将这个查询计划生成可以执行的查询Query。分配给一系列Presto。

• Query
  一个语句可以被认为是传递给Presto的SQL文本，而一个查询是指为了执行该语句而实例化的配置和组件。 查询包含阶段，任务，拆分，连接器以及其他组件和数据源协同工作以产生结果。Query是由是由各个Worker 和相关的Stage 组成。

• Stage
  当Presto执行一个查询时，它通过将执行分解为一个阶段层次结构来实现。Stage为树状结构，并不会实际执行。每个查询都有一个根阶段，负责汇总其他阶段的输出， 阶段是协调员用来为分布式查询计划建模的阶段。只是Coordinator进行管理和建模的逻辑概念。

• Exchange
  Stage用来连接另一个Stage的。

• Task
  Task是需要实际运行在Presto的各个Worker节点上的。一个Stage被拆分为多个Task，每个Task处理多个Split，一个Task 又可以分为多个Driver ，从而并行执行一个Task.

• Driver
  作用于一个Split的一系列Operator的集合。一个Driver拥有一个输入和一个输出。

• Operator
  一个Operator代表一个Split的一种操作，依次读取Split。列如过滤，加权，转换。均会以Page 为最小单位读取输入数据，产生输出数据。

• Split
  一个大的数据集之中的一个小的子集。Presto执行查询时，首先会从Coordinator得到一个表对应的所有Split，然后根据查询计划，选择合适的节点运行Task 处理Split。

• Page
  presto处理的最小数据单元，一个Page对象包含多个Block对象，最大Page为1MB，最多16 * 1024行数据。

下面用一个图来整体描述：

翻译自官网 和《Presto技术内幕》