![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
源码
文章平均质量分 83
hankl1990
show me the code
展开
-
源码走读篇之:spark读取textfile时是如何决定分区数的
前言: 关于源码的文章,我自己其实也一直在有道云上有总结一些,犹豫平日里上班的缘故,着实没有太多的精力来写体系的写这些东西,但是,却着实觉得这些东西其实还是很重要的,特别是随着工作时间的渐长,越发觉得源码这个东西还是必须要看的,能带来很多的启发,我个人的体会是,每个工作阶段去解读都会有不一样的感受。 我也不敢说去解读或者说让你彻底搞个明白,自己确实没有那个水平。我...原创 2020-05-03 10:09:18 · 1260 阅读 · 1 评论 -
Spark 图解 Backend 通信
主要的组件就是两个: CoarseGrainedSchedulerBackend extends SchedulerBackend CoarseGrainedExecutorBackend extendsExecutorBackend DriverEndPoint原创 2020-10-10 16:41:43 · 247 阅读 · 0 评论 -
Spark 图解源码系列之:SparkStreaming Receiver是如何接收数据的?
假期不能闲着,水一篇文章,各位看官看过来~涉及到的几个主要的角色: ReceiverSupervisor ReceiverSupervisorImpl (实现类) Receiver BlockGenerator BlockManager ReceiverTracker总体流程大致的说一下:一切从 流 开始我们以 SocketInputDStream 为例子来讲解下面的这个图是整个的流程详解:是在是没办法,转为图片6M+超过了可以上传的..原创 2020-10-07 17:41:54 · 149 阅读 · 0 评论 -
spark 源码之---DAGScheduler 耐心看完之后绝对有收获,
忍不住先上一段官方的注释,感觉真的很好,不用看博客,就看这个,最原汁原味,还准确~/** * The high-level scheduling layer that implements stage-oriented scheduling. It computes a DAG of * stages for each job, keeps track of which RDDs and stage outputs are materialized, and finds a * minim.原创 2020-08-07 17:28:09 · 296 阅读 · 0 评论