自定义博客皮肤VIP专享

*博客头图：

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览 取消 提交

自定义博客皮肤

-+
上一步保存

u011564172的博客

  • 博客(14)
  • 问答 (1)
  • 收藏
  • 关注
全部文章> 2017年04月
排序：
按最后发布时间
按访问量
RSS订阅
09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 Spark 内存管理概述

介绍Spark内存管理中涉及到的相关概念

2017-04-30 21:52:44 16265

原创 Spark DAG之SubmitTask

介绍Stage转为Task，提交给Executor运行的过程

2017-04-26 10:33:21 3424

原创 Spark DAG之SubmitStage

介绍提交Stage的流程

2017-04-24 23:55:46 9373

原创 Spark DAG之划分Stage

介绍Stage的定义及DAGScheduler如何划分Stage

2017-04-22 13:55:56 19798

原创 Spark DAG之SubmitJob

介绍DAGScheduler使用EventLoop异步处理Job的流程

2017-04-20 17:44:08 5781 2

原创 Spark DAG概述

介绍DAGScheduler的作用，以及Stage、Task等概念，并举了一个具体例子

2017-04-18 17:02:03 20765 4

原创 Spark 任务调度之Executor执行task并返回结果

介绍Executor执行task并返回result给Driver。

2017-04-14 11:44:58 29965

原创 Spark 任务调度之Driver send Task

介绍Driver发送task到Executor的过程。

2017-04-12 15:19:57 10985 1

原创 Spark 任务调度之创建Executor

CoarseGrainedExecutorBackend创建Executor对象的过程

2017-04-10 14:25:06 3842

原创 Spark 任务调度之启动CoarseGrainedExecutorBackend

介绍CoarseGrainedExecutorBackend的作用及启动流程。

2017-04-09 00:53:54 19804

原创 Spark 任务调度之Launch Executor

Master launchExecutor流程

2017-04-06 23:51:49 8229 1

原创 Spark 任务调度之Register App

概要本篇博客是Spark 任务调度概述详细流程中的第三部分，介绍Driver向Master注册APP信息的流程

2017-04-04 23:46:29 3996

原创 Spark 任务调度之Launch Driver

概要本篇博客是Spark 任务调度概述详细流程中的第二部分，第一部分Spark 任务调度之Submit Driver中介绍了从命令行提交任务开始，至Master中注册Driver的流程。接下来Master将注册的Driver信息发送到Worker，在Worker节点启动Driver。Master发送LaunchDriver消息 Spark 任务调度之Submit Driver中最后我们讲到将dri

2017-04-02 23:35:31 6949 1

原创 Spark 任务调度之Submit Driver

介绍在Standalone模式下，从命令行使用spark-submit提交任务开始，到将Driver提交到Master的过程。

2017-04-01 15:50:38 8233 1

空空如也

eclipse中的debug和指令重排序

2014-12-31

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章？
取消 删除