Spark 之 Stage划分、数据本地性算法实现

最新推荐文章于 2024-01-14 13:26:53 发布
最新推荐文章于 2024-01-14 13:26:53 发布
阅读量1.7k 收藏 1
点赞数
分类专栏： Spark 文章标签： spark 数据本地性算法 stage划分 数据本地性 DAGScheduler
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/longhai_zheng/article/details/52276242
版权

Spark 之 Stage划分、数据本地性算法实现

[ 睡着的水-hzjs-2016.08.22 ]

一、Stage划分算法

---1、Spark Application 中可以因为不同的Action触发众多的Job，也就是说一个Application 中可以有很多的Job，每个Job是有一个还或者多个Stage构成的，后面的Stage依赖前面的Stage，也就是说只有前面依赖的Stage计

最低0.47元/天 解锁文章
longhai_zheng
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
数据算法 Hadoop Spark大数据处理技巧
06-01
《数据算法：Hadoop/Spark大数据处理技巧》介绍了很多基本设计模式、优化技术和数据挖掘及机器学习解决方案，以解决生物信息学、基因组学、统计和社交网络分析等领域的很多问题。这还概要介绍了MapReduce、Hadoop和Spark。 主要内容包括： ■ 完成超大量交易的购物篮分析。 ■ 数据挖掘算法（K-均值、KNN和朴素贝叶斯）。 ■ 使用超大基因组数据完成DNA和RNA测序。 ■ 朴素贝叶斯定理和马尔可夫链实现数据和市场预测。 ■ 推荐算法和成对文档相似性。 ■ 线性回归、Cox回归和皮尔逊（Pearson）相关分析。 ■ 等位基因频率和DNA挖掘。 ■ 社交网络分析（推荐系统、三角形计数和情感分析）。 适读人群 ：这本书面向了解Java基础知识并且想使用Hadoop和Spark 开发MapReduce 算法（数据挖掘、机器学习、生物信息技术、基因组和统计领域）和解决方案的软件工程师、软件架构师、数据科学家和应用开发人员。
论SparkStreaming的数据可靠性和一致性
01-30
摘要：眼下大数据领域最热门的词汇之一便是流计算了，而其中最耀眼的无疑是来自Spark社区的SparkStreaming项目。对于流计算而言，最核心的特点毫无疑问就是它对低时的需求，但这也带来了相关的数据可靠性问题。由于流计算系统是长期运行、且不断有数据流入，因此其Spark守护进程（Driver）的可靠性至关重要，它决定了Streaming程序能否一直正确地运行下去。Driver实现HA的解决方案就是将元数据持久化，以便重启后的状态恢复。如图一所示，Driver持久化的元数据包括：Block元数据（图1中的绿色箭头）：Receiver从网络上接收到的数据，组装成Block后产生的Block元
Stage划分算法原理剖析.pdf
10-14
对Spark 中Stage划分的分析，很详细。如果有不清楚的地方可以一起谈论
基于Spark MLlib 的 ALS 算法实现的电影推荐系统，采用MovieLens数据集进行分析建模.zip
10-23
1、该资源内项目代码经过严格调试，下载即用确保可以运行！ 2、该资源适合计算机相关专业(如计科、人工智能、大数据、数学、电子信息等)正在做课程设计、期末大作业和毕设项目的学生、或者相关技术学习者作为学习资料参考使用。 3、该资源包括全部源码，需要具备一定基础才能看懂并调试代码。 基于Spark MLlib 的 ALS 算法实现的电影推荐系统，采用MovieLens数据集进行分析建模.zip 基于Spark MLlib 的 ALS 算法实现的电影推荐系统，采用MovieLens数据集进行分析建模.zip 基于Spark MLlib 的 ALS 算法实现的电影推荐系统，采用MovieLens数据集进行分析建模.zip 基于Spark MLlib 的 ALS 算法实现的电影推荐系统，采用MovieLens数据集进行分析建模.zip 基于Spark MLlib 的 ALS 算法实现的电影推荐系统，采用MovieLens数据集进行分析建模.zip 基于Spark MLlib 的 ALS 算法实现的电影推荐系统，采用MovieLens数据集进行分析建模.zip 基于Spark MLlib 的 A
Spark核心之弹性分布式数据集RDD
02-24
1.1什么是RDD(1)RDD（ResilientDistributedDataset）弹性分布式数据集，它是Spark的基本数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。(2)具有数据流模型的特点：自动容错、位置感知性调度、可伸缩性。(3)查询速度快：在执行多个查询时，可以显示的将工作集缓存到内存中，后续的查询能够重用缓存的工作集。1.2RDD的属性打开Spark源代码，源码的注释中对RDD的描述如下图。(1)Alistofpartitions一系列的分区(2)Afunctionforcomputingeachsplit每个函数作用于每一个分区(3)Alistofdepen
Spark3.0源码分析-数据本地化优先级及延迟调度策略
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
07-02 972
spark3.0基于源码分析数据本地化及延迟调度策略
深入理解Spark的数据本地性
最新发布
m0_70131998的博客
01-14 437
在分布式计算中，数据通常存储在远程的存储系统中（如HDFS），而计算任务则分布在集群中的多个节点上。通过使用数据本地性技术，Spark可以有效地利用集群中的资源，并提高数据处理的速度和效率。当一个任务需要处理某个分区的数据时，它会尽可能在该节点上运行，从而减少数据传输的时间和成本。即使某个节点出现故障，其他节点仍然可以提供数据的备份。由于减少了网络传输的次数和数据传输的大小，使用数据本地性技术可以降低存储和网络的成本。通过使用数据本地性技术，Spark可以避免频繁的网络传输，从而提高数据处理的速度和效率。
Spark数据本地性
赵英超的博客
11-07 1306
一. 概述 Spark中的数据本地性分为两种 executor 层面的数据本地性task 层面的数据本地性 在两种本地性中，task层面的数据本地性是由Spark本身决定的，而executor的分发则是Cluter Manager控制的，因此下文主要描述在不同Cluster Manager中的executor分发机制。 Spark Standalone  Stan
Spark | 数据本地性
俗人
12-04 371
Spark在Driver上会对Application的每一个Stage的Task进行分配前，都会计算出每个Task要计算的是哪个分片数据，RDD的某个partition；Spark的Task分配算法会让每个Task正好分配到它要计算的数据所在的节点，这样不用在网络间传输数据，因此在DAG划分Stage分配Task任务时候就确定好了数据本地性。 但通常来说，很有可能因为节点A的计算资源和计算能力...
Spark_Spark中 Stage, Job 划分依据 , Job, Stage, Task 高阶知识
迎难而上
08-15 1618
Task内部有一个成员变量：preferredLocations表明了这个Task的位置偏好，这个变量的值是根据Task的数据的位置得到的，可以是一个hostName或者execotorId。例如，如果Task的数据是在192.168.5.101和192.168.5.102这两台机器上，那么：forExecutor是一个HashMap，key为executorId，value是preferredLocations为这个executor的所有task的taskId。
Spark学习（三）SparkRDD及Stage的划分
potter
04-22 3781
1、RDD的概述1.1、什么是RDDRDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。1.2、RDD的...
Spark stage阶段划分算法
迷恋晓峰
01-03 508
大数据-Spark（八）
海恋北斗星
09-19 679
大数据-Spark（八） DAG有向无环图生成 DAG是什么 DAG(Directed Acyclic Graph) 叫做有向无环图（有方向,无闭环,代表着数据的流向），原始的RDD通过一系列的转换就形成了DAG。 下图是基于单词统计逻辑得到的DAG有向无环图： DAG划分stage stage是什么 一个Job会被拆分为多组Task，每组任务被称为一个stage。stage表示不同的调度阶段，一个spark job...
spark-数据本地性
weixin_34195546的博客
10-29 81
2019独角兽企业重金招聘Python工程师标准>>> ...
Spark性能优化第五季-数据本地性调优
NASAXK的博客
03-20 4500
一：Spark性能调优之序列化 1、序列化最重要的原因是内存空间有限（减少GC的压力，最大化避免Full GC的产生，因为一旦产生Full GC，则整个Task处于停止状态！）、减少磁盘IO的压力、减少网络IO的压力； 2、什么时候会必要的产生序列化和反序列化？发送磁盘IO和网络通信的时候会序列化和反序列化，更为重要的考虑序列化和反序列化的时候有另外两种情况：1）Persist（Checkpo
Spark不同Cluster Manager下的数据本地性表现
偷闲小苑
08-15 3325
一. 概述Spark中的数据本地性分为两种 executor 层面的数据本地性 task 层面的数据本地性 在两种本地性中，task层面的数据本地性是由Spark本身决定的，而executor的分发则是Cluter Manager控制的，因此下文主要描述在不同Cluster Manager中的executor分发机制。 Spark Standalone Standalone提供了两种executo
spark的数据本地性
早上八点的技术窝
09-15 596
一、数据本地性 spark在任务调度的时候，会检查数据存储的位置，本着“移动数据不如移动计算”的原则，会优先将task任务部署在其将要处理的数据所在的节点上，可以最大程度地减小数据传输带来的网络开销，减少IO操作，称为spark的数据本地性。 二、本地性的分类 Process_local：Excutor进程（task线程）读取缓存在本地节点上的数据 Node_local：读取本地节点硬盘上的数据...
Spark笔记之数据本地性（data locality）
weixin_30399055的博客
01-22 388
一、什么是数据本地性（data locality） 大数据中有一个很有名的概念就是“移动数据不如移动计算”，之所以有数据本地性就是因为数据在网络中传输会有不小的I/O消耗，如果能够想办法尽量减少这个I/O消耗就能够提升效率。那么如何减少I/O消耗呢，当然是尽量不让数据在网络上传输，即使无法避免数据在网络上传输，也要尽量缩短传输距离，这个数据需要传输多远的距离（实际意味着数据传输的代价...
Spark Stage的划分原理
04-04
Spark Stage的划分原理是基于Spark的DAG图（有向无环图）来实现的。一个DAG图由许多个节点和边组成，其中每个节点代表一个RDD（弹性分布式数据集），每条边代表一个转换操作。 Spark Stage是由一组互相依赖的任务（task）组成的，这些任务可以在一个节点上并行执行。Spark会根据DAG图的拓扑结构将RDD分成不同的Stage，每个Stage包含有向无环图上的一条链，其中没有shuffle操作。在一个Stage中，所有的任务都可以并行执行，而不需要等待其他Stage的完成。当Spark执行一个Stage时，它会从最初的RDD开始计算，并持续计算到达一个新的RDD，然后进入下一个Stage。 因此，Spark Stage的划分原理是基于DAG图的拓扑结构，确保任务可以并行执行，并最小化需要等待的时间。这种划分方式可以提高Spark作业的性能和效率。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值