spark
关注
分享
扫一扫
lspie0517
想学习的人
展开
-
Spark Executor Driver资源调度小结
一、引子 在Worker Actor中，每次LaunchExecutor会创建一个CoarseGrainedExecutorBackend进程，Executor和CoarseGrainedExecutorBackend是1对1的关系。也就是说集群里启动多少Executor实例就有多少CoarseGrainedExecutorBackend进程。 那么到底是如何分配Execu转载 2017-01-18 18:23:28 · 296 阅读 · 0 评论 -
Spark RDD 内部结构(一) 概述
RDD内部结构转载 2017-01-23 10:43:57 · 1367 阅读 · 0 评论 -
Spark RDD 内部结构(二) RDD分区
RDD 分区 分区 先回答第一个问题：RDD 内部，如何表示并行计算的一个计算单元。答案是使用分区（Partition）。 RDD 内部的数据集合在逻辑上和物理上被划分成多个小子集合，这样的每一个子集合我们将其称为分区，分区的个数会决定并行计算的粒度，而每一个分区数值的计算都是在一个单独的任务中进行，因此并行任务的个数，也是由 RDD（实际上是一个阶段的末 RDD，调度章节会介绍）分区的个数转载 2017-01-23 11:07:45 · 9496 阅读 · 2 评论