spark2.0源码阅读
文章平均质量分 73
小伙子还不错
这个作者很懒,什么都没留下…
展开
-
Spark2.0源码阅读 事件总线
文章目录ListenerBusListenerBus的类继承体系SparkListenerBusSparkListenerInterfaceSparkListenerSparkListenerEventAsyncEventQueueLiveListenerBus的工作流程图ListenerBusprivate[spark] trait ListenerBus[L <: AnyRef, E] extends Logging { private[this] val listenersPlusTi原创 2022-05-17 15:43:00 · 138 阅读 · 0 评论 -
spark2.0源码阅读 剖析spark RPC框架
spark2.0 剖析spark网络框架原创 2022-05-13 20:19:57 · 650 阅读 · 0 评论 -
spark2.0源码阅读 剖析sparkConf
目录sparkConf存储结构克隆SparkConf配置sparkConf存储结构//通过安全的HashMap保存所有配置private val settings = new ConcurrentHashMap[String, String]()sparkConf会加载系统变量spark.打头的属性,具体实现如下//加载默认配置,loadDefaults默认为trueif (loadDefaults) { loadFromSystemProperties(false)}private原创 2022-05-12 10:04:36 · 141 阅读 · 0 评论 -
spark2.0源码阅读 剖析spark-shell
spark2.0源码阅读 1剖析spark-shell文章目录spark2.0源码阅读 1剖析spark-shellspark-shell脚本spark-submit脚本spark-class脚本总结spark-shell脚本function main() { if $cygwin; then # Workaround for issue involving JLine and Cygwin # (see http://sourceforge.net/p/jline/bugs/4原创 2022-05-05 21:49:16 · 970 阅读 · 0 评论