Presto知识点整理

1、基本概念

1. Presto服务进程
   Presto集群中一共有两种服务进程，Coordinator与Worker服务进程，Coordinator服务进程主要是：接收查询请求、解析查询语句、生成查询执行计划、任务的调度和worker的管理。Worker服务则执行分解后的查询执行任务：Task。
2. Presto集群的基本通信模型

3. 文件结构定义使用
   

2、查询执行模型

1. Statement
   Statement语句，就是指我们输入的Sql语句

2. Query
   Query即查询执行，当Presto接收一个Sql语句并执行时，会解析Sql语句，将其转变成一个查询和相关的查询执行计划。一个查询执行计划是由运行在各个Worker上各自之间相互关联的Stage组成的。一个查询执行由Stage、Task、Driver、Split、Operator和DataSource组成。这些组件之间通过内部联系共同组成一个查询执行计划。

3. Stage
   Stage即查询执行阶段。Stage供分为4种，具体如下：

• Coordinator_Only:这种类型的Stage用于执行DDL或者DML语句中最终的表结构创建或者更改。
• Single：这种类型的Stage用于聚合子Stage的输出数据，并将最终数据输出给终端用户。
• Fixed: 这种类型的Stage用于接受其子Stage产生的数据并在集群中对这些数据镜像分布式的聚合或者分组计算。
• Source：这种类型的Stage用于直接连接数据源，从数据源读取数据，在读取数据的时候，该阶段也会根据对执行计划的优化相关的断言下发和过滤等。

4. ExChange
   在Presto中有两种Exchange：Output Buffer和Exchange Client。生产数据的Stage通过名为Output Buffer的Exchange将数据传递给下游的Stage，消费数据的Stage通过名为ExchangeClient的Exchange从上游Stage读取数据。注意：如果当前的Stage是Source类型的Stage，那么该Stage则是直接通过相应的Connector从数据源读取数据的。
5. Task
   Stage在逻辑上又分为一系列的Task。这些Task则是需要实际运行在Presto的各个Worker节点上的。每个Task处理一个或者多个Split。每个Task都有对应的输入和输出。因此可以并行的执行一个Stage，Task也采用了相同的机制，一个Task也可以被分解为一个或者多个Driver，从而并行的执行一个Task。
6. Driver
   一个Task包含一个或者多个Driver。一个Driver其实就是作用于一个Split的一系列Operator的集合。因此一个Driver用于处理一个Split，并且生成相应的输出，这些输出由Task收集并且传送给下游的Stage中的一个Task。一个Driver拥有一个输入和一个输出。
7. Operator
   一个Operator代表对一个Split的一种操作，例如过滤、加权、转换等。每个Operator均会以Page为最小处理单位分别读取输入数据和产生输出数据。Operator每次只会读取一个Page对象，相应地每次只会产生一个Page对象。
8. Split
   当执行一个查询的时候，首先会从Coordinator得到一个表对应的所有Split。然后Presto就会根据查询执行计划，选择合适的节点运行相应的Task处理Split。
9. Page
   Page是Presto中处理的最小数据单元。一个Page对象包含多个Block对象，而每个Block对象是一个字节数组，存储一个字段的若干行。多个Block横切的一行是真实的一行数据，一个Page最大为1MB，最多16x1024行数据。
   
   Presto执行查询的模型图：
   

软件架构图