【Spark】源码分析之RDD的生成及stage的切分

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/xin93/article/details/80674497

一、概述

Spark源码整体的逻辑(spark1.3.1):

从saveAsTextFile()方法入手

-->saveAsTextFile() 

--> saveAsHadoopFile() 

--> 封装hadoopConf,并传入saveAsHadoopDataset()方法

--> 拿到写出流SaprkHadoopWriter,调用self.context.runJob(self,writeToFile) 

--> runJob方法中,使用dagScheduler划分stage 

--> submitJob开始提交作业

-->任务处理器的post方法启动线程,获取队列中的任务,并调用onRecevie()方法提交任务

-->调用handleJobSubmitted,使用newStage中的getParentStage方法对stage进行切分 

-->getParentStage方法中,使用HashSet、Stack来存放stage和RDD,用栈来存储RDD主要是为了便于后面通过循环进行模式匹配,判断该RDD和父RDD的依赖关系,如果是宽依赖就会生成stage,如果是窄依赖,就会继续找父RDD

二、Spark源码详情

1. 在spark1.3.1的源码中,saveAsTextFile的关键代码在于它内部调用了saveAsHadoopFile()方法。


2. 进入到saveAsHadoopFile()方法中,首先spark会对配置信息进行封装,然后将配置信息传入saveAsHadoopDataset( )方法


3. saveAsHadoopDataset()方法中将会拿到Spark的写出流,并调用runJob方法准备开始提交作业。



4. 进入runJob方法中,会使用dagScheduler进行stage的切分


5. submitJob开始提交作业


6. 获取finalRDD的分区数,并调用任务处理器的post方法,循环取出数据放入队列中


7.  post方法中,将启动一个线程,将获取队列中的任务,并调用onRecevie()方法提交任务


8. 进入onReceive(),可以看到它是一个抽象类中的方法


9. 方法的实现在DAGScheduler中,对方法进行模式匹配。 匹配到任务提交的方法后,调用handleJobSumitted提交任务


10. handleJobSubmitted中,使用newStage中的getParentStage方法对stage进行切分


11. getParentStage方法中,使用HashSet、Stack来存放stage和RDD,用栈来存储RDD主要是为了便于后面通过循环进行模式匹配,判断该RDD和父RDD的依赖关系,如果是宽依赖就会生成stage,如果是窄依赖,就会继续找父RDD


阅读更多
想对作者说点什么?

博主推荐

换一批

没有更多推荐了,返回首页