2017年03月_Mr_JieLQ

09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 Spark 任务调度概述

概要主要介绍Standalone部署模式下，从命令行执行spark-submit命令提交任务开始，到最后计算结果返回driver的完整过程，主要涉及到spark-core中deploy、executor和scheduler部分，但DAGScheduler相关的部分涉及到内容较多，这里不作介绍，留作后面详细分析。Spark Doc中的介绍Spark官方文档中，Cluster Mode Overvie

2017-03-31 00:04:27 16520 7

原创 Spark RPC之RpcEndpointVerifier

RpcEndpointVerifier的作用是，当RpcEndpointRef访问对应的RpcEndpoint前，判断RpcEndpoint是否存在

2017-03-26 21:52:52 3716 2

原创 Spark RPC之RpcEnvFileServer

spark运行时executor需要远程下载driver上的jar或文件，对应的内部实现为RpcEnvFileServer，RpcEnvFileServer的子类有NettyStreamManager、HttpBasedFileServer，底层分别由netty、jetty实现。

2017-03-22 00:36:56 6570 2

原创 Spark RPC之RpcResponse处理

完整介绍了Spark RPC请求的流程，及RpcCallContext、RpcResponseCallback在其中的作用。

2017-03-14 14:48:25 7128 1

原创 Spark RPC之RpcRequest请求处理流程

主要介绍处理RpcRequest请求的两种情形

2017-03-08 16:29:24 5107 1

原创 Spark RPC之Dispatcher、Inbox、Outbox

概要Dispatcher、Inbox、Outbox完成了Spark RPC底层对请求消息的分发及处理流程，Dispatcher和Inbox作用于server端，处理请求，Outbox作用于client端，处理和远端server通信的情况。Spark RPC之RpcRequest请求处理流程中的最后两幅截图中可以看到 Dispatcher和Inbox在其中发挥作用。Dispatcher、I

2017-03-03 17:13:53 4276

原创 Spark RPC之Netty启动

Spark RPC概述中我们介绍了Spark RPC接口的设计和使用，并且spark1.6版本中RPC底层实现使用netty，并在后续2.x版本中彻底移除了akka，因此，我们看下Spark RPC内部如何使用netty的。

2017-03-01 17:56:54 9499 3

空空如也

eclipse中的debug和指令重排序

2014-12-31

TA创建的收藏夹 TA关注的收藏夹

TA关注的人