【Spark101】Scala Promise/Future在Spark中的应用

Promise和Future是Scala用于异步调用并实现结果汇集的并发原语，Scala的Future同JUC里面的Future接口含义相同，Promise理解起来就有些绕。等有时间了再仔细的研究下Promise和Future的语义以及应用场景，具体参见Scala在线文档：http://docs.scala-lang.org/sips/completed/futures-promises.html

 

如下代码来自于BlockTransferService的fetchBlockSync方法，因为只是拉取一个Block的数据，Spark在此处定义为同步获取，而不是异步获取。异步获取的实现是BlockTransferService的fetchBlocks方法，它可以批量获取多个Blocks，返回结果放于回调函数的ManageBuffer中了。

 

如下代码，首先定义了Promis类型的result变量，Promise将放入ManagedBuffer类型的数据，一旦放入，那么Promise.future将从等待结果的状态中返回。因此，Promise的语义可以理解为Promise会在某个时间点放入一个数据，而Promise.future的语义是等待这个值的放入，放入完成后future从阻塞等待的状态立即返回。

 

Promise数据的放入是通过Promise.success和Promise.failure操作实现的，分别表示放入了异步操作得到正确的结果和异步操作失败而放入失败的结果。

 

 

 

 

  /**
   * A special case of [[fetchBlocks]], as it fetches only one block and is blocking.
   *
   * It is also only available after [[init]] is invoked.
   */
  def fetchBlockSync(host: String, port: Int, execId: String, blockId: String): ManagedBuffer = {
    // A monitor for the thread to wait on.
    //创建Promise对象result,result.future将等待Promise对象写入数据
    val result = Promise[ManagedBuffer]()
    //通过fetchBlocks发起异步获取Block的请求，请求返回后根据调用结果调用BlockFetchingListener的onBlockFetchFailure或者onBlockFetchSuccess方法，在两个方法中
    ///为Promise变量写入请求返回的数据值，此后，result.future将从等待状态返回
    fetchBlocks(