spark学习-如何判断方法是在Driver端还是在Executor端执行

object Test_foreach {
  def main(args: Array[String]): Unit = {
    //    获取spark上下问环境
    val sparkConf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("foreach-test")
    val sparkContext = new SparkContext(sparkConf)
    //    测试算子map
    //    1.从集合中获取数据
    val rdd: RDD[Int] = sparkContext.makeRDD(List(1, 2, 3, 4))
    rdd.collect().foreach(println)
    println("====================")
    rdd.foreach(println)
    //    关闭连接
    sparkContext.stop()
  }
}

代码结果如下

 

 首先看第一个foreach方法是有顺序按照分区输出数据的，rdd的collect()方法会把数据按照分区从多个Exector端点收集数据，然后返回到Driver端点Scala集合对象的foreach方法打印结果。

而第二个foreach是直接在Exector端点执行RDD方法foreach，因为多个Exector可以并发执行因此打印顺序会不确定。

因此可以得出结论：如果执行的是RDD的方法，也就是算子时是在多个Exector节点运行的，而执行Scala方法则是在Driver端执行

程序中RDD外部的操作就是在Driver端执行的，RDD内部的操作就是在Exector端执行的,程序中的打印分割线的println("============")就是在Driver端执行。