u011564172的博客

介绍Spark的ExternalBlockStore相关部分

介绍Spark Shuffle的概念及三种实现，hash shuffle、sort shuffle、tungsten-sort shuffle。

介绍SortShuffleWriter的实现

介绍DAGScheduler的作用，以及Stage、Task等概念，并举了一个具体例子

介绍Stage转为Task，提交给Executor运行的过程

概要RangePartitioner原理

介绍BytesToBytesMap

介绍Tungsten中内存管理相关部分

介绍统一内存管理器UnifiedMemoryManager

介绍Spark Sort Shuffle

介绍tungsten-sort

介绍Spark Hash Shuffle

介绍Spark对于磁盘文件的管理及读写

spark运行时executor需要远程下载driver上的jar或文件，对应的内部实现为RpcEnvFileServer，RpcEnvFileServer的子类有NettyStreamManager、HttpBasedFileServer，底层分别由netty、jetty实现。

介绍MemoryStore的实现及几个重要方法

介绍Storage模块的设计思路及BlockManager的概要

介绍TorrentBroadcast的实现思路

介绍BROADCAST的使用场景，及几种实现思路。

介绍Spark内存管理中涉及到的相关概念

分析静态资源管理器StaticMemoryManager

介绍提交Stage的流程

介绍Stage的定义及DAGScheduler如何划分Stage

概要上一篇我们介绍了代表RDD组成的三大物理结构(Dependency、Partition、Partitioner)之一的Partition，这篇接着介绍Dependency。Partition记录的是数据split的逻辑，Dependency记录的是transformation操作过程中Partition的演化，即这个Partition从哪来到哪去的过程。

CoarseGrainedExecutorBackend创建Executor对象的过程

完整介绍了Spark RPC请求的流程，及RpcCallContext、RpcResponseCallback在其中的作用。

上篇文章Spark RPC概述介绍了Spark RPC的实现思路，有了上述基础，我们看一个具体例子，就是standalone模式下的Master和Worker，主要关注Worker如何向Master注册信息以及保持心跳。

介绍CoarseGrainedExecutorBackend的作用及启动流程。

Master launchExecutor流程

上一篇文章Spark RPC之Master实现介绍了standalone模式下Master端的实现，接着我们看下Worker端的实现，以及如何向Master注册及发送心跳。

概要Spark RPC被deploy、scheduler、shuffle、storage等多个模块使用，是深入学习这些模块的前提。

主要介绍处理RpcRequest请求的两种情形

Spark RPC概述中我们介绍了Spark RPC接口的设计和使用，并且spark1.6版本中RPC底层实现使用netty，并在后续2.x版本中彻底移除了akka，因此，我们看下Spark RPC内部如何使用netty的。

介绍在Standalone模式下，从命令行使用spark-submit提交任务开始，到将Driver提交到Master的过程。

概要Partition是Spark RDD一个重要组成，一份待处理的原始数据会被按照相应的逻辑(例如jdbc和hdfs的split逻辑)切分成n份，每份数据对应到RDD中的一个partition，Partition的数量决定了task的数量，影响着程序的并行度，所以理解Partition是了解spark背后运行原理的第一步。

介绍DAGScheduler使用EventLoop异步处理Job的流程

介绍Executor执行task并返回result给Driver。

概要本篇博客是Spark 任务调度概述详细流程中的第三部分，介绍Driver向Master注册APP信息的流程

概要主要介绍Standalone部署模式下，从命令行执行spark-submit命令提交任务开始，到最后计算结果返回driver的完整过程，主要涉及到spark-core中deploy、executor和scheduler部分，但DAGScheduler相关的部分涉及到内容较多，这里不作介绍，留作后面详细分析。Spark Doc中的介绍Spark官方文档中，Cluster Mode Overvie

RpcEndpointVerifier的作用是，当RpcEndpointRef访问对应的RpcEndpoint前，判断RpcEndpoint是否存在

介绍Driver发送task到Executor的过程。