Spark
Spark
食鱼酱
一只努力向上的程序员
展开
-
Spark-RDD阶段划分源码解析
Spark版本2.4.5,从RDD.scala的collect函数为入口分析阶段划分流程 // --------------- 1 ----------------- def collect(): Array[T] = withScope { // 跳进这个runJob val results = sc.runJob(this, (iter: Iterator[T]) => iter.toArray) Array.concat(results: _*) } // --------.原创 2020-08-05 12:24:12 · 376 阅读 · 0 评论 -
Spark-makeRDD分区源码解析
起因 object Spark_MakeRDD { def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setMaster("local[*]").setAppName("WordCount") val sc : SparkContext = new SparkContext(sparkConf) // 设置3个分区 val原创 2020-07-29 07:54:43 · 589 阅读 · 0 评论