一. 前言
presto作为一个分布式并行计算的SQL引擎,需要在各个节点之间传递数据是无可避免的。Presto在各个节点中传输数据都是通过presto的exchange实现的。
除了TableScan等一些特殊的算子之外,Presto中大多数算子都是以ExchangeOperator算子开头,TaskOutputOutput算子结尾,因为ExchangeOperator会重其他地方拉取数据,算子计算完成的数据则通过TaskOutputOutput放置在buffer中等待下游拉取,实现pipeline式的计算。如图:
Exchange在presto中有两种,分别为RemoteExchange和LocalExchange。
二. RemoteExchange
RemoteExchange在presto用来跨节点或者跨Stage之间的数据传输,走的是HTTP的方式,其实现实现如下:
ExchangeOperator::createOperator
exchangeClient = exchangeClientSupplier.get
new ExchangeClient()
addLocation // location其实上就是exchange需要到哪里拉数据的地址
scheduleRequestIfNecessary
client.scheduleRequest
scheduler.schedule(initiateRequest) // 到这里就知道exchange一旦收到了地址,就会自动启动一个定时器到远端拉取数据,而且自动更新token来拉取下一次的数据
sendGetResults
uri = location + token;
httpClient.executeAsync
pages = result.getPages(); // 从远端拿到的page存放在buffer里边,下游getOutput的时候,从buffer里边将page返回给下游的Operator
token = result.getNextToken();
三. LocalExchange
LocalExchange不需要进行网络传输,直接通过API方式将数据传输给下游的Operator。LocalExchange一般是用来在pipeline之间的数据传递。如图:
LocalExchange的上游pipeline的数据放在LocalExchangeSinkOperator中,下游pipeline则通过LocalExchangeSourceOperator与其对接进行数据拉取。代码入口处为入口处为LocalExchangeSink::addInput ,其实现细节如下:
LocalExchangeSink::addInput
sink.addPage // sink就是LocalExchangeSinkOperator
exchanger.accept //exchanger以BroadcastExchanger为例
buffer.accept
BroadcastExchanger::accept
buffer.accept
LocalExchangeSource::addPage
buffer.add //下游通过LocalExchangeSourceOperator::getOutput获取数据时候,LocalExchangeSourceOperator便从buffer poll一个page的数据返回给下游,实现数据传递。