SparkRDD的任务切分

最新推荐文章于 2022-08-08 20:37:13 发布
最新推荐文章于 2022-08-08 20:37:13 发布
阅读量692 收藏
点赞数
分类专栏： # ---Spark-Core Spark-MLlib 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41106844/article/details/107791084
版权

角色

SparkRDD的任务角色分为四个:

  • Application
    每一个SparkContext就是一个Application
  • Job
    Application中每一个Action会生成一个Job
  • Stage
    根据RDD之间的依赖关系的不同将Job划分为不同的Stage（以宽依赖为界）
  • Task
    Stage是一个TaskSet，将Stage划分的结果发送到不同的Executor执行即为一个Task

在这里插入图片描述

寒 暄
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
spark 流程详解（任务切分，调度，通讯架构）
weixin_45425054的博客
03-08 982
spark整个流程 第6步详解解析： 6.1的LauncherPool为线程池，它会启动一个线程类NMclient用来和NodeManager通信用，然后会启动NodeManager中的一个进程ExecutorBackend，然后启动两个通信模块（也就是RPC终端，用来通信） 通信注册完后，第9步建立Executor计算对象（线程），也就是跑RDD的承担者 注：7，8，9,10步在通讯架构中详解 任务切分 第十步：任务切分解析：如下图 所以当Exeuctor启动完成后，就开始跑代码，直到遇到第一个行动算
Apache Spark RDD面试题
最新发布
02-19
### Apache Spark RDD 相关知识点解析 #### 一、SparkContext 创建位置 - **知识点**：`SparkContext` 是 Spark 应用程序的入口点，它由用户在编写应用程序时手动创建。 - **解释**：在 Spark 应用程序中，`...
【Spark2.0源码学习】-9.Job提交与Task的拆分
weixin_30487701的博客
06-01 97
在前面的章节Client的加载中，Spark的DriverRunner已开始执行用户任务类（比如：org.apache.spark.examples.SparkPi），下面我们开始针对于用户任务类（或者任务代码）进行分析 一、整体预览 基于上篇图做了扩展，增加任务执行的相关交互 Code：指的用户编写的代码 RDD：弹性分布式数据集，...
Python实用技巧大任务切分
muzico425的博客
11-24 361
今天来说说，Python 中的任务切分。以爬虫为例，从一个存 url 的 txt 文件中，读取其内容，我们会获取一个 url 列表。我们把这一个 url 列表称为大任务。列表切分 在不考虑内存占用的情况下，我们对上面的大任务进行一个切分。比如我们将大任务切分成的小任务是每秒最多只访问5个URL。importos importtime CURRENT_DIR=os.path.dirname...
【Spark】源码分析之RDD的生成及stage的切分
Supernova的博客
06-13 539
一、概述整体的逻辑：RDD的生成从saveAsTextFile（）方法入手。saveAsTextFile() --> saveAsHadoopFile() --> 封装hadoopConf，并传入saveAsHadoopDataset（）方法 --> 拿到写出流SaprkHadoopWriter，调用self.context.runJob(self,writeToFile) --...
黑猴子的家：Spark RDD 任务切分
黑猴子的博客
06-08 474
1、一个action操作就是一个job任务。 2、应用 -> 任务 -> stage -> task。 3、stage的划分，是根据宽依赖来进行划分，划分的过程是从后往前划分，如果遇到一个宽依赖算子，那么就将当前stage压入栈底，以此划分到代码的起始位置，划分完成之后，从栈顶依次进行执行。 4、task：一个分区就是一个t...
spark RDD操作详解
09-25
- **分区**：RDD可以被切分为多个分区，每个分区可以在不同的节点上独立计算。 - **容错性**：RDD通过记录数据转换过程中的依赖关系来自动恢复故障。如果某一部分数据丢失，Spark可以根据这些依赖关系重新计算丢失的...
Spark学习笔记之Spark中的RDD的具体使用
08-25
Spark学习笔记之Spark中的RDD的具体使用 本文主要介绍了Spark学习笔记之Spark中的RDD的具体使用，通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值。 知识点一：RDD的概念和特点 * RDD...
大数据技术之Spark源码
04-08
3. 任务的切分：每个阶段的 RDD 都可以被切分为多个任务，任务是 Spark 的最小执行单元。 4. 任务的调度：Spark 的调度器负责将任务分配给 Executor，Executor 执行任务并将结果返回给 Driver。 5. 任务的执行：...
spark简要教程
05-01
- **弹性分布式数据集（RDD）**：Spark中最基本的数据抽象，表示分布在多个节点上的只读分区记录集合。 - 创建RDD的方法： - 从外部数据源读取：如文件系统、数据库等。 - 从驱动程序中的集合创建：例如列表、...
切分大任务成多个子任务(事务)，汇总后统一提交或回滚
asd00017的博客
09-22 855
示例代码可以从github上获取https://github.com/git-simm/simm-framework.git 一、业务场景： 　　系统中存在一个盘库的功能，用户一次盘库形成一两万条的盘库明细单，一次性提交给服务器进行处理。服务器性能比较优越，平均也得运行30秒左右。性能上需要进行优化。 二、处理方案： 　　做过代码分析后，发现单线程逻辑没有什么优化空间。开...
【Spark程序执行3】任务划分
weixin_38602383的博客
01-16 840
【Spark程序执行3】任务划分 承接【Spark程序执行2】阶段划分，在划分好阶段之后，会提交stage： 如下： private[scheduler] def handleJobSubmitted(jobId: Int, finalRDD: RDD[_], func: (TaskContext, Iterator[_]) => _, partitions: Array[Int], callSite: CallSite, listener
rdd分片 spark_Spark学习笔记(1)RDD
weixin_39688687的博客
01-14 90
RDDRDD(Resilient Distributed Dataset)叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。RDD内部结构.pngRDD5大特型A lis...
Spark源码-任务提交流程-8-DAGScheduler任务切分
m0_37817767的博客
08-08 567
spark源码
spark笔记（一）之RDD任务划分
weixin_44604159的博客
05-06 717
一.Driver & Executer Driver：创建spark上下文对象的应用程序称之为Driver，或者驱动器；只要创建spark上下文对象的类，可以称之为Driver类 * 功能：发送任务给Executor进行计算 * 总结：除Executoru算子计算功能之外的代码都属于Driver Executor：接收认为并执行任务，称之为执行器（也就是说把计算的任务...
spark:初识RDD、任务提交模式
qq_41634872的博客
02-09 174
算子： 完整的spark代码执行下来叫做一个application，有多个job 个数与action算子相同。action算子不会返回RDD,transformation总是返回RDD。transfoamation：懒执行，只有当action算子出现才会执行，否则不执行。 count 返回数据集中的元素数。会在结果计算完成后回收到Driver端。 take(n) 返回一个包含数据集前n个元...
RDD 作业的DAG是如何切分的？
BornZhu的博客
06-25 1092
 我们都知道，RDD存在着依赖关系，这些依赖关系形成了有向无环图DAG，DAG通过DAGScheduler进行Stage的划分，并基于每个Stage生成了TaskSet，提交给TaskScheduler。那么这整个过程在源码中是如何体现的呢？  1.作业的提交1// SparkContext.scala2  dagScheduler.runJob(rdd, cleanedFunc, partiti...
RDD的任务划分
weixin_43854618的博客
04-21 375
RDD任务切分中间分为：Application、Job、Stage和Task。Application->Job->Stage-> Task每一层都是1对n的关系。 1）Application：初始化一个SparkContext即生成一个Application一般一个spark程序就是一个任务。 2）Job：一个Action算子就会生成一个Job，一个spark程序会有多个行动Ac...
Spark学习笔记(10)——RDD阶段划分和任务划分
m0_56602092的博客
08-05 1468
一、阶段划分的概念 通过前面的学习我们知道RDD转换算子从分区数据是否会重新组合的角度看可分为两类： 一类是如map、mapPartitions等，一个分区的数据经过处理后仍然还在同一个分区。各个分区的数据不存在互相依赖的关系，即OneToOne依赖，因此各个分区在处理完自己的任务后就可以直接通过转换算子进入新的RDD，不需要谁等谁。 而另一类转换算子如groupBy、reduceByKey等，分区数据需要重新组合（即存在shuffle操作）。各个分区的数据存在互相依赖的关系，即Shuffle依赖（宽依赖
2. 结合词频统计的例子，用文字和验证代码说明SparkRDD编程的特点
04-26
Spark会自动将RDD的分区调度到不同的节点上，并尽可能地在同一节点上执行同一个任务。 4. 依赖关系：RDD之间存在依赖关系，每个RDD都可以通过依赖关系来追溯到它的源RDD。这种依赖关系可以在节点故障时进行容错处理...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

寒 暄

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值