spark(二)SparkContext

 

一.Spark核心功能

二.Spark基本架构

三.RDD相关

图一

(1) application: 1

一个应用程序为一个application.

(2) job: 1

①saveAsTextFile为action操作,根据action操作划分job,故job为1个.

②切分方法:

从前往后找action算子,找到一个就形成一个job

(3) stage: 2

①reduceByKey为宽依赖,每个job下根据Shuffle操作划分stage,故stage为2个.

(stage个数=shuffle个数+1)

②切分方法:

从后往前找shuffle类型/宽依赖的算子,遇到一个断开划分形成一个stage;

最后一个stage称为ResultStage,除此之外的其他stage称为ShuffleMapStage.

③每个stage中可能包含多个不同的RDD,比如stage1中为三个RDD;

④一个stage又可能会划分成多个task执行(默认情况下,每一个分区就会是一个task)

⑤每个RDD可以指定不同分区数,图中stage1中RDD为四个分区,stage2中RDD为三个分区

(4) task: 7 (stage1阶段为4个;stage2阶段为3个)  

①stage1阶段,RDD是四个分区,task也为四个;stage2阶段,RDD是三个分区,task也为3个.

② task总数 = 不同stage中task总和;

    每个stage中task数 = 该stage下最后一个RDD的Partition的数量决定

 

 

图二

(1)输入可能以多个文件的形式存储在HDFS上，每个File都包含了很多块，称为Block.

(2)当Spark读取这些文件作为输入时，会根据具体数据格式对应的InputFormat进行解析，一般是将若干个Block合并成一个输入分片，称为InputSplit，注意InputSplit不能跨越文件