本文详细梳理了Spark的分区数、任务数、核心数、工作节点数和执行器数之间的关系，以及Driver、Job和Stage的概念。介绍了Spark如何将逻辑图转化为物理执行计划，任务与数据分布的执行过程，以及Executor的组成。强调了Task执行的并发度取决于Executor数量和核心数，RDD分区数目决定了Task数目，优化RDD分区有助于提高并行度和效率。同时，解释了Driver程序、Job和Stage在Spark计算流程中的角色和作用。
Spark分区数、task数目、core数目、worker节点数目、executor数目梳理
spark隐式创建由操作组成的逻辑上的有向无环图。驱动器执行时，它会把这个逻辑图转换为物理执行计划，然后将逻辑计划转换为一系列的步骤（stage），每个步骤由多个任务组成。
步骤组成任务、数据组成任务。所以数据和对数据的操作都封装在任务里面了？数据是分布的，那么步骤的执行是什么过程？因为是流水线操作，所以对于每一个工作节点，都有一份步骤，然后根据步骤一步步计算？？？
Spark文档中使用驱动器节点和执行器节点的概念来描述执行Spark的进程
主节点（master）和工作节点（worker）的概念被用来分别表述集群管理器中的中心化部分和分布式部分。
输入以多个文件的形式存储在HDFS上，每个File都包含了很多块，成为Block
如果输入只有一个文件存储在Hbase里，也是按块大小分布存储的吗？
以块形式存储的文件可以跨节点嘛ÿ
最低0.47元/天 解锁文章
308
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
