前文
一般场景中,Spark计算任务中transform相关的操作都是由action进行触发的,常见的的比如write、collect、show等,或者在数据处理的过程中调用的groupbykey等API,进行shuffle数据重新分发,在提交任务时会把transform的操作作为前置任务进行提交,但是单纯的transform操作是无法触发spark计算任务的。
但是,单纯由transform API构建的Spark计算任务,应该怎么触发计算任务呢?
一些场景中会遇到单纯由transforms构成的计算流程,或者需要提前进行流程的计算,以节省时间,举例如下:
1.第一种,单纯由transforms构成的计算任务,当一个数据处理流程中存在异构计算平台的时候,需要将前一个Spark计算任务的RDD数据向后进行传递,可以采用采用mapPartition的方式,以分区数据为单位进行传递,在这个spark计算任务中,必须要一个操作来触发mapPartition以及其分区操作函数,当然可以用一个简单的count()或者show()操作进行触发。
2.第二种,需要提前进行流程的计算,尽可能的为流程的后半部分节省时间,当后面的任务触发的时候,可以直接使用前面流程计算好的数据,而不是一个假数据。
正文
1.count() / show() 等方式进行触发
这是最简单的一种方式,但是会引入额外的计算成本,比如count(),而show()的API调用会触发collect函数的调用,而且使用方式上也不够优雅。