谈谈Spark下并行执行多个Job的问题

对于Spark这样的分布式计算系统，任务会分发到多台机器上执行。如何榨干有限的集群资源来实现快速并行计算，是需要考虑的重要问题之一。而这个问题又可以拆解为：如何将有限的集群资源都分配给Spark使用；如何将分配到的资源都利用起来。本文的话题属于后者的范畴，将从笔者在实践中遇到的场景出发，探讨如何在Spark下并行执行多个Job。

背景

  在我们的数据系统中，有一些实时流任务与离线任务会将处理结果以Parquet的形式存储到AWS S3上。为了便于后续处理与快速查询，需要按照数据类型(目前有四种类型)、时间间隔(按天分隔)来划分Parquet分区，即一批数据会分散存储到不同的路径下，比如s3://data/type=security/interval=1552608000、s3://data/type=policy/interval=1552608000等。目前，我们通过Spark DataFrame的API来写文件，有两种实现方式：

通过for循环依次根据数据类型、时间间隔将数据Filter出来，然后写入相应的路径下。

fortypeintypes:forintervalinintervals:df.filter(df.type==type).filter(df.interval==interval).write.parquet("s3://data/type=%s/interval=%s"% (type, interval))

通过partitionBy功能让Spark自动做将数据写入不同的分区路径。

df.write.partitionBy("type","interval").mode("append").parquet("s3://data")

  这两种实现方式，前者是显式的一件一件做，每循环一次就是一个Job，后者是在一个Job中完成。看上去后者的执行效率会更高，代码也简洁，但实际效果并非如此。两个原因：首先，第二种方式在每个Task中还是根据相应的数据类型、时间间隔来串行写入的，并没有真正提升写入速度。其次，第一种方式会更加可控，可以显式的知道做到了哪里，如果出错的话可以知道错在哪个环节，恢复回来时可以根据checkpoint将已经做过的跳过去，避免重复写入。目前，我们主要采用第一种方式，这也是我们后面探讨的前提。

  对于一个Spark Job，我们总是期望能充分利用所有的cpu-vcore来并行执行，因此通常会将数据repartition成cpu-vcore的个数，即每个cpu-vcore上跑一个Task。而对于写文件的Job，每个Task会写入到自己的一个文件中，最终生成的文件数是由Task个数决定。在下图1中，假设集群总共有12个cpu-vcore分配给Executor使用，那么就会有12个Task并行执行写入，最终生成12个文件。