Presto 之数据exchange

一. 前言

       presto作为一个分布式并行计算的SQL引擎，需要在各个节点之间传递数据是无可避免的。Presto在各个节点中传输数据都是通过presto的exchange实现的。

       除了TableScan等一些特殊的算子之外，Presto中大多数算子都是以ExchangeOperator算子开头，TaskOutputOutput算子结尾，因为ExchangeOperator会重其他地方拉取数据，算子计算完成的数据则通过TaskOutputOutput放置在buffer中等待下游拉取，实现pipeline式的计算。如图：

   Exchange在presto中有两种，分别为RemoteExchange和LocalExchange。

二. RemoteExchange

     RemoteExchange在presto用来跨节点或者跨Stage之间的数据传输，走的是HTTP的方式，其实现实现如下：

ExchangeOperator::createOperator
     exchangeClient = exchangeClientSupplier.get
         new ExchangeClient()
             addLocation    // location其实上就是exchange需要到哪里拉数据的地址
                scheduleRequestIfNecessary
                    client.scheduleRequest
                       scheduler.schedule(initiateRequest)  // 到这里就知道exchange一旦收到了地址，就会自动启动一个定时器到远端拉取数据，而且自动更新token来拉取下一次的数据
                           sendGetResults
                              uri = location + token;
                                 httpClient.executeAsync
                                    pages = result.getPages(); // 从远端拿到的page存放在buffer里边，下游getOutput的时候，从buffer里边将page返回给下游的Operator
                                    token = result.getNextToken();

三. LocalExchange

    LocalExchange不需要进行网络传输，直接通过API方式将数据传输给下游的Operator。LocalExchange一般是用来在pipeline之间的数据传递。如图：

      LocalExchange的上游pipeline的数据放在LocalExchangeSinkOperator中，下游pipeline则通过LocalExchangeSourceOperator与其对接进行数据拉取。代码入口处为入口处为LocalExchangeSink::addInput ，其实现细节如下：

   

LocalExchangeSink::addInput
   sink.addPage // sink就是LocalExchangeSinkOperator
       exchanger.accept  //exchanger以BroadcastExchanger为例
          buffer.accept
             BroadcastExchanger::accept
                buffer.accept
                   LocalExchangeSource::addPage
                      buffer.add    //下游通过LocalExchangeSourceOperator::getOutput获取数据时候，LocalExchangeSourceOperator便从buffer poll一个page的数据返回给下游，实现数据传递。