Spark_任务执行过程

下面的例子展示Spark执行的各个阶段，有助于我们了解用户代码如何被编译为下层的执行计划

使用Spark shell实现简单的日志分析应用

输入数据：

//input.txt
INFO This is a message with content
INFO This is some other content

INFO Here are some messages
INFO This is a warning

ERROE Something bad happend
WARN More details on the bad thing
INFO Back to normal messages%
 
 
1
2
3
4
5
6
7
8
9
10

导入数据

scala> val input = sc.textFile("/Users/lxy/Desktop/input.txt")
input: org.apache.spark.rdd.RDD[String] = /Users/lxy/Desktop/input.txt MapPartitionsRDD[1] at textFile at <console>:24
 
 
1
2

切分为单词并删掉空白行

scala> val tokenized = input.
     | map(line => line.split(" ")).
     | filter(words => words.size > 0)
tokenized: org.apache.spark.rdd.RDD[Array[String]] = MapPartitionsRDD[3] at filter at <console>:28
 
 
1
2
3
4

提取出每行的第一个单词（日志等级）并计数

scala> val counts = tokenized.
     | map(words => (words(0),1)).
     | reduceByKey{(x,y) => x+y}
counts: org.apache.spark.rdd.RDD[(String, Int)] = ShuffledRDD[5] at reduceByKey at <console>:30
 
 
1
2
3
4

使用toDebugString（）方法查看RDD的谱系

//使用不同的缩进等级来表示RDD是否会在物理步骤中进行流水线执行
//下图表示物理执行只需要两个步骤
scala> counts.toDebugString
res1: String =
(2) ShuffledRDD[5] at reduceByKey at <console>:30 []
 +-(2) MapPartitionsRDD[4] at map at <console>:29 []
    |  MapPartitionsRDD[3] at filter at <console>:28 []
    |  MapPartitionsRDD[2] at map at <console>:27 []
    |  /Users/lxy/Desktop/input.txt MapPartitionsRDD[1] at textFile at <console>:24 []
    |  /Users/lxy/Desktop/input.txt HadoopRDD[0] at textFile at <console>:24 []
 
 
1
2
3
4
5
6
7
8
9
10

可以看到调用sc.textFile()方法首先创建了一个HadoopRDD对象，然后对该RDD进行了映射、筛选和过滤操作。

在调用行动操作之前，RDD都只是存储着能让我们计算出具体值的操作的描述信息，要触发实际计算，需要对RDD调用一个行动操作。比如collect（）将数据收集到驱动器程序中.

scala> counts.collect()
res2: Array[(String, Int)] = Array((INFO,5), ("",2), (WARN,1), (ERROE,1))
 
 
1
2

spark调度器会创建出用于计算行动操作的RDD物理执行计划。我们调用collect（）方法，spark的每个分区都会被物化出来并发送到驱动器程序中。spark调度器从最终被调用行动操作的RDD出发向上回溯所有必须要被计算的RDD。调度器会访问RDD的父节点、父节点的父节点，以此类推。递归向上生成所有计算必要的祖先RDD的物理计划。

更复杂的情况是RDD图与执行步骤并不是一一对应的。比如，当调度器进行流水线执行时，或把多个RDD合并到一个步骤中时。当RDD不需要混洗数据就可以从父节点计算出来时，调度器就会自动进行流水线执行。

除了流水线执行的优化外。如果一个RDD已经缓存在集群的内存或磁盘上时，spark的内部调度器也会自动截短RDD的谱系图，实行“短路”计算，直接基于缓存下来的RDD值进行计算。

如果将counts的值缓存下来，多次调用collect行动操作，只需一个步骤就可以完成。

特定的行动操作所生成的步骤的集合称为一个作业

一旦步骤图确定下来，任务就会被创建出来并发给内部的调度器。一个物理步骤会启动很多任务，每个任务都是在不同的数据分区上做同样的事情。

任务内部的流程是一样的：

1. 从数据存储或者已有RDD或者数据混洗中获取输入数据
2. 执行必要的操作来计算出这个操作所代表的RDD

1. 把输出写入到一个数据混洗文件中，写入外部存储，或者发回驱动器程序。

宁波注射除皱医院http://www.iyestar.com/wzx/zscz/