spark core 源码
文章平均质量分 95
LS_ice
这个作者很懒,什么都没留下…
展开
-
spark 2.4.0源码分析--(一)事件总线LiveListenerBus
spark事件总线的核心是LiveListenerBus,其内部维护了多个AsyncEventQueue队列用于存储和分发SparkListenerEvent事件。spark事件总线整体思想是生产消费者模式,消息事件实现了先进先出和异步投递,同时将事件的产生(例如spark core创建stage、提交job)和事件的处理(例如在Spark UI显示任务信息)分离,在一定程度上提升了系统的异步...原创 2018-09-28 11:09:23 · 1134 阅读 · 0 评论 -
spark 2.4.0源码分析--(二)AppStatusListener与SQLAppStatusListener事件响应及存储
接上一篇文章,事件总线分发的event,一个非常重要的目标就是存入AppStatusListener,SQLAppStatusListener内部的kvstore: ElementTrackingStore,用于Spark UI展示 :Spark UI中Job、Stage、Task页面,调用AppStatusStore提供的方法,读取kvstore中存储的rdd任务相关信息,并显示Spar...原创 2019-01-23 16:01:34 · 1662 阅读 · 2 评论 -
spark 2.4.0源码分析--(三)Spark Netty通信传输层架构
文章目录一、TansportSever服务度一、TansportSever服务度留名,本周加上后续内容原创 2019-01-23 17:08:15 · 1660 阅读 · 0 评论 -
spark 2.4.0源码分析--(四)Spark Netty RPC实现及Endpoint
文章目录一、NettyRPCEnv及实现一、NettyRPCEnv及实现留名,本周加上后续内容原创 2019-01-23 17:10:13 · 1272 阅读 · 0 评论