《Apache Spark源码剖析》学习笔记
文章平均质量分 86
漠小浅
IT
展开
-
《Apache Spark源码剖析》学习笔记之Spark作业提交
1.作业提交以foreach函数开始:foreach-------------------------------------------------------------------------------------------/** * Applies a function f to all elements of this RDD. */def foreach(原创 2015-12-07 22:10:57 · 793 阅读 · 0 评论 -
《apache spark源码剖析》 学习笔记之SparkContext
SparkContext的初始化综述SparkContext是进行Spark应用开发的主要接口,是Spark上层应用与底层应用实现的中转站。SparkContext在初始化过程中,主要涉及以下内容:SparkEnvDAGSchedulerTaskSchedulerSchedulerBackendWebUISparkContext的构造函数中最重要的入参是SparkConf。原创 2015-12-07 21:29:53 · 932 阅读 · 0 评论