《Apache Spark源码剖析》学习笔记
文章平均质量分 86
漠小浅
IT
展开
-
《Apache Spark源码剖析》学习笔记之Spark作业提交
1.作业提交 以foreach函数开始: foreach ------------------------------------------------------------------------------------------- /** * Applies a function f to all elements of this RDD. */ def foreach(原创 2015-12-07 22:10:57 · 787 阅读 · 0 评论 -
《apache spark源码剖析》 学习笔记之SparkContext
SparkContext的初始化综述 SparkContext是进行Spark应用开发的主要接口,是Spark上层应用与底层应用实现的中转站。 SparkContext在初始化过程中,主要涉及以下内容: SparkEnvDAGSchedulerTaskSchedulerSchedulerBackendWebUI SparkContext的构造函数中最重要的入参是SparkConf。原创 2015-12-07 21:29:53 · 930 阅读 · 0 评论