spark
github_28583061
这个作者很懒,什么都没留下…
展开
-
spark 源码 ---1-SparkContext-初始化
SparkContext -- v 2.2Spark的对外接口,代表了与spark 集群交互的连接,负责向调用这提供Spark的各种功能 主要功能: 在集群上,创建RDD,累加器,广播变量等 driver 和 executor都会创建 sparkContext初始化过程 -- driver 前置条件SparkConf设置: spark.master 必须设置 本...原创 2020-05-07 20:21:26 · 291 阅读 · 0 评论 -
spark 源码 ---0-SparkRdd-基础
https://github.com/xif10416s/workNoteResilient Distributed Datasets (RDDs)类定义abstract class RDD[T: ClassTag]( @transient private <var></var> _sc: SparkContext, @transient pr...原创 2020-05-05 20:41:23 · 187 阅读 · 0 评论 -
spark 基础
参考http://www.codeweblog.com/%E7%90%86%E8%A7%A3scala%E7%9A%84symbol%E7%B1%BB%E5%9E%8B/http://docs.scala-lang.org/overviews/reflection/symbols-trees-types.html转载 2020-05-05 20:38:01 · 197 阅读 · 0 评论