关于spark中 task数据本地化的五种方式

最新推荐文章于 2022-06-28 14:37:46 发布
最新推荐文章于 2022-06-28 14:37:46 发布
阅读量622 收藏
点赞数
分类专栏： 大数据 之 Spark 文章标签： spark 大数据分析处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41203888/article/details/88842388
版权
本文介绍了Apache Spark中的五种数据本地化级别：进程本地化(PROCESS_LOCAL)、节点本地化(NODE_LOCAL)、不偏好(NO_PREF)、机架本地化(RACK_LOCAL)及任意(ANY)，并阐述了它们之间的效率差异及应用场景。
摘要由CSDN通过智能技术生成

Spark中,数据的本地化方式分为五种

PROCESS_LOCAL : 进程本地化 , task计算的数据在当前Executor中 不同task计算的时候可以共同用这一个数据集,效率高,节省资源
NODE_LOCAL : 节点本地化 , task计算的数据在当前节点上,task计算的时候不需要跨节点拉取数据,速度也是比较快的
NO_PREF : 没有本地化 ,这个方式的意思就是数据不是本地化的数据 比如我们的的MySQL数据库 如果我们需要的数据在MySQL中 就不牵扯到数据本地化的这个说法
RACK_LOCAL : task 计算所需要的数据在同机架不同节点上, 这种方式中,task计算的数据在不同节点上,就牵扯到网络传输的问题了 ,效率就没有那么高了
ANY : 这种方式就是比较随意的,可能会牵扯到跨机架的数据传输,效率最低

默认的优先级是从上到下 依次降低

/----第一次写博客,自己的见解,参考一些其他的见解,如有偏差,请指出----/

「已注销」
关注
专栏目录
Spark Task：移动计算策略——任务调度数据本地性
Big_data_implicit_
12-15 700
PROCESS_LOCAL：一个JVM内部，将RDD缓存、Executor、数据所在的datanode在同一个进程内 NODE_LOCAL：在多个Executor之间，同一台主机上进行调度 RACK_LOCAL：在同一个机架内 NO_PREF：不考虑 ANY：任意都可以 其中优先的顺序是：PROCESS_LOCAL>NODE_LOCAL>RACK_LOCAL 可以分别设置spark.locality.wait.process、spark.locality.wait.node、sp
Spark调优之数据本地化
威少（微笑）
06-05 267
目录 一：宏观调优方式 二：数据本地化级别 三：调优参数 四：代码展示 五：机架 与 服务器 六：TaskScheduler源码地址 七：BlockManager 取数据的方式 一：宏观调优方式 1.移动代码到数据节点(Spark) 2.移动数据到代码节点 通常来说，移动代码到其他节点，会比移动数据到代码所在的节点上去，速度要快得多，因为代码比较小 二：数据本地化级别 ...
Spark 本地化计算参数调整分析
张伯毅的专栏
12-28 6341
  Spark在Driver上，对Application的每一个stage的task，进行分配之前，都会计算出每个task要计算的是哪个分片数据，RDD的某个partition；Spark的task分配算法，优先，会希望每个task正好分配到它要计算的数据所在的节点，这样的话，就不用在网络间传输数据；      但是呢，通常来说，有时，事与愿违，可能task没有机会分配到它的数据所在的节点，为...
spark task 流程
在东一方
12-11 197
1：提交jar到hdfs 2：调用spark-submit提交任务到集群 3：运行sparkSumbit的main方法，其通过反射的方式创建我们的程序，并执行main方法，开始执行我们的程序 4：当代吗运行到SparkContext对象时，开始初始化SparkContext对象 5：初始化SparkContext的时候，会创建两个重要的对象：DAGScheduler和TaskScheduler...
Spark 之 Task 原理分析
py_tamir的博客
06-26 594
目录 1、接收请求，准备操作 2、处理阶段 ShuffleMapTask 3、处理阶段 ResultTask 1、接收请求，准备操作 Executor 接收到了LaunchTask的请求后，在TaskRunner中会做一些准备工作，例如：反序列化Task，因为Task发送过来时，是被序列化的。然后通过网络拉取需要的文件，jar包等。在准备工作之后，运行task的run（）方法，该方法最核心...
理解spark中的job、stage、task
学亮编程手记
06-09 1741
什么是Spark？ Spark是处理大数据常用的计算引擎。Spark是一个用来实现快速而通用的集群计算的平台。扩展了广泛使用的MapReduce计算模型，而且高效地支持更多的计算模式，包括交互式查询和流处理。和MapReduce相比，spark支持内存计算，一般比MapReduce更高效。 一般我们在提交spark任务的时候，都会去其UI界面查看任务运行状况。其中就有job、stage、task的一些执行进度展示。今天，就详细说明一下这些名词术语的含义。 Job spark中的数据都是抽象为RDD的，它支持
【Spark系列】：Spark的数据本地化
hxcaifly的博客
01-01 1350
1.数据的本地化级别有哪些？ Spark 中任务的处理需要考虑数据的本地性，以 spark 1.6 为例，目前支持以下几种： PROCESS_LOCAL：进程本地化，表示 task 要计算的数据在同一个 Executor 中。 NODE_LOCAL：节点本地化，速度稍慢，因为数据需要在不同的进程之间传递或从文件中读取。分为两种情况，第一种：task 要计算的数据是在同一个 worker 的不同 ...
Spark数据本地化
chenchen8111的专栏
08-29 200
Spark数据本地化-->如何达到性能调优的目的 1.Spark数据的本地化：移动计算，而不是移动数据 2.Spark中的数据本地化级别： TaskSetManager 的 Locality Levels 分为以下五个级别： PROCESS_LOCAL NODE_LOCAL NO_PREF RACK_LOCAL ANY PROCESS_LOC...
spark数据本地化
yx_keith的博客
04-22 440
转载自：https://www.cnblogs.com/jxhd1/p/6702224.html?utm_source=itdadao&utm_medium=referralSpark数据本地化-->如何达到性能调优的目的1.Spark数据的本地化：移动计算，而不是移动数据2.Spark中的数据本地化级别：TaskSetManager 的 Locality Levels 分为以下五个...
[spark] 数据本地化及延迟调度
UFO的博客
10-18 1300
Spark本地化即移动计算而不是移动数据，而现实又是残酷的，不是想要在数据块的地方计算就有足够的资源提供，Spark的延迟调度应运而生，资源不够可在限制时间内不断重试，超过限制时间后还无法启动则降低要求再尝试启动……本地化级别（Locality Levels） PROCESS_LOCAL：进程本地化，代码和数据在同一个进程中，也就是在同一个executor中；计算数据的task由executor
Spark数据本地化常用级别
foreverlove_ty的博客
04-07 1706
Spark中数据的本地化常用方式分为5种 1、PROCESS_LOCAL : 进程本地化，指task计算的数据在本进程（Executor）中 2、NODE_LOCAL：节点本地化，指task计算的数据在本节点（node）的磁盘上，当task在本进程中一直没有执行（如果Driver分发task 3s后没有执行，且重复5次后），此时Driver就把这个没有执行的task发送到本节点的其他execu...
Spark - Task 与 Partition 一一对应与参数详解
BITDDD小栈
06-28 1916
使用 spark 读取 parquet 文件，共有 M个 parquet 文件，于是启动了 PExecutor x QCores 进行如下 WordCount 代码测试，其中 P x Q = M 即 Core 数目与 parquet 文件数一一对应。
Spark调优：数据本地化（调优）
不花的花和尚的博客
10-19 803
数据本地化的级别： PROCESS_LOCAL task要计算的数据在本进程（Executor）的内存中。 NODE_LOCAL task所计算的数据在本节点所在的磁盘上。 task所计算的数据在本节点其他Executor进程的内存中。 NO_PREF task所计算的数据在关系型数据库中，如mysql。 RACK_LOCAL task所计算的数据在同机架的不同节点的磁盘...
Spark描述DAG的2种Task类型解析
美伊小公主的超级奶爸的专栏
12-30 3399
Spark有2个类型的Task: ShuffleMapTask和ResultTask;   设想有:  Stage1  ----shuffle-------->  Stage2 -----shuffle------>  Stage3   Stage3就是一个ResultTask, 因为是最终的action的执行; Stage2既是1个shuffle的数据读取者, 又是
Spark任务调优（1）——数据本地化
狂奔的蜗牛
03-23 1470
Spark官网有关于数据本地化的相关介绍：http://spark.apache.org/docs/2.1.0/tuning.html#data-locality本地化说明数据本地化可以对Spark任务的性能产生重大影响。如果数据和操作数据的代码在一块，计算通常会很快。但是如果数据和代码不在一起，就必须将一方移动到另一方。通常，将序列化的代码块从一个地方发送到另一个地方要比发送数据更快，因为代码的...
Spark的数据本地化和延迟调度策略
SmallCatBaby的博客
06-19 967
一.概述 Spark数据本地化即计算向数据移动，但数据块所在的Executor不一定有足够的的计算资源提供，为了让task能尽可能的以最优本地化级别（Locality Levels）来启动，Spark的延迟调度应运而生，资源不够可在该Locality Levels对应的限制时间内重试，超过限制时间后还无法启动则降低Locality Levels再尝试启动。...
查看Spark任务的详细信息
热门推荐
程序员欣宸的博客
10-07 1万+
在学习Spark的过程中，查看任务的DAG、stage、task等详细信息是学习的重要手段，在此做个小结； 环境信息 本文对应的环境信息如下： CentOS Linux release 7.5.1804 JDK：1.8.0_191 hadoop：2.7.7 spark：2.3.2 参考文档(准备环境用到) 搭建hadoop、spark、运行耗时任务，请参考以下文章： 部署hadoop：《Li...
spark的调优总结。。。后续遇到问题在及时更新。。。。
Rocky
10-15 1219
1、reduce task OOM?                增大reduce端的聚合操作的内存比例                     增大executor memory 内存大小 --executor-memory                     减少reduce task每次拉取的数据量  设置spak.reducer.maxSizeInFlight参数 2、在sh...
Spark数据本地化-->如何达到性能调优的目的
一夜飘零
04-13 1839

 Spark数据本地化-->如何达到性能调优的目的 1.Spark数据的本地化：移动计算，而不是移动数据 2.Spark中的数据本地化级别： TaskSetManager 的 Locality Levels 分为以下五个级别： PROCESS_LOCAL  NODE_LOCAL NO_PREF    RACK_LOCAL AN...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值