Spark Shuffle源码领读

最新推荐文章于 2024-11-15 20:13:07 发布
最新推荐文章于 2024-11-15 20:13:07 发布
阅读量152 收藏
点赞数
分类专栏： spark 文章标签： spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HanJuly9569/article/details/115106933
版权

个人总结，以官网为准
如有错误，欢迎指出

在这里插入图片描述

主要步骤：

  • 在excutor线程池里执行ShuffleMapTask时，触发ShufflRdd的compute函数
  • ShuffleRdd 使用BlockStoreShuffleReader 给SortShuffleWriter返回一个迭代器。
    -SortShuffleWriter 间接通过 ExternalSorter 调用迭代器的next函数开始获取shuffle前一步的数据
  • ShuffleBlockFetcherIterator 在初始化的时候，先区分出本地数据块和远程数据块，并通过NettyBlockTransferService获取数据写入文件
  • SortShuffleWriter 通过shuffleId, mapId 把数据从临时文件中使用BlockManager写入block块文件中
    在这里插入图片描述

关于MapOutputTracker的使用

MapOutputTracker 在shuffle过程中用于远程数据地址和大小的获取和上传到MapOutputMaster

  • 在哪里获取数据地址和大小

    BlockStoreShuffleReader 调用MapOutputTrackerWorker的getMapSizesByExecutorId的方法给ShuffleBlockFetcherIterator
    在这里插入图片描述

  • 在哪里上传数据地址和大小给MapoutputMaster
    SortShuffleWriter 使用BlockManager写入数据后，返回一个MapStatus给
    excutor的TaskRunner，然后一路返回到DAGScheduler中的handleTaskCompletion方法中调用MapOutputMaster的registerMapOutput注册信息
    在这里插入图片描述

关于BlockManaer的使用

  • 在哪里读取本地数据
    在ShuffleBlockFetcherIterator 初始化的方法中initialize
    在这里插入图片描述

  • 在哪里读取远程数据
    由于shuffle过程是边读边写所以，读取过程其实是包含写文件的动作的。
    也是在ShuffleBlockFetcherIterator 初始化的方法中initialize，发送了fetch请求。在这里插入图片描述
    然后沿着调用链，调用到NettyBlockTransferService的fetchBlocks，触发OneForOneBlockFetcher start方法，在这个方法中使用下载回调，然后写入一个临时文件。
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  • 在哪里写入数据
    在这里插入图片描述

Spark提交流程源码领读
HanJuly9569的博客
03-17 177
Spark提交流程源码领读 从上图一步步来解析 通过SparkSubmit的脚本使用submit触发 doSubmit(arg[]) 然后自己调用submit(args: SparkSubmitArguments, uninitLog: Boolean), prepareSubmitEnvironment 它主要是使用从前两步解析的参数，选择对应的启动类，启动类不一定是我们写的主类。准备一些后面需要用到参数childArgs，childClasspath，sparkConf 比如yarn模
Spark任务执行流程源码领读
HanJuly9569的博客
03-21 116
流程 CoarseGrainedExecutorBackend 受到启动任务的请求，并将任务反序列化给excutor Excutor将任务描述放到TaskRunner，然后放入线程池中 线程启动后，首先想driver端发送任务状态 并拉取jar等依赖 调用Task的run方法执行（ShuffleMapTask,ResultTask） 主要代码 ...
Spark任务切割提交源码领读
HanJuly9569的博客
03-21 209
概述 RDD的action算子触发SparkContext的runjob 然后触发DAG的runjob方法 DAG执行提交job方法，并递归切割stage DAG将任务提交给TaskSchedulerImpl TaskSchedulerImpl与CoarseGrainedSchedulerBackend等协同将任务封装为TaskSetManger，并请求资源， TaskSchedulerImpl封装任务为TaskDesc并序列化发送给Excutor 总结： 重要的几个类及其作用： DAGSchedu.
【Nacos无压力源码领读】(二) 集成 LoadBanlancer 与 OpenFeign
cnzzs的博客
08-07 1024
上一篇文章中, 详细介绍了 Nacos 注册中心的原理, 相信看完后, 大家应该完全掌握了 Nacos 客户端是如何自动进行服务注册的, 以及 Nacos 客户端是如何订阅服务实例信息的, 以及 Nacos 服务器是如何处理客户端的注册和订阅请求的;本文承上启下, 在订阅服务实例的基础上, 介绍如何在实例之间进行选择, 实...
【Nacos无压力源码领读】(二) 集成 LoadBalancer 与 OpenFeign
wdx7770的博客
08-07 1373
上一篇文章中, 详细介绍了 Nacos 注册中心的原理, 相信看完后, 大家应该完全掌握了 Nacos 客户端是如何自动进行服务注册的, 以及 Nacos 客户端是如何订阅服务实例信息的, 以及 Nacos 服务器是如何处理客户端的注册和订阅请求的;本文承上启下, 在订阅服务实例的基础上, 介绍如何在实例之间进行选择, 实现负载均衡;并详细介绍了负载均衡组件 LocaBanlancer 和函数式调用组件 OpenFeign 是如何与 Nacos 注册中心进行集成的;
【Nacos无压力源码领读】(一) Nacos 服务注册与订阅原理
wdx7770的博客
08-07 860
本文将详细介绍 Nacos 客户端在启动时进行自动注册原理, 以及Nacos服务器是如何处理客户端的注册与订阅请求的;本文会附带源码解读, 但不会死抠每一行代码, 主要是梳理整个流程, 过程中的关键步骤, 都会由思维导图的形式展现出来;
【Nacos无压力源码领读】(三) Nacos 配置中心与热更新原理详解超详细解读
wdx7770的博客
08-07 1307
本文将从 Nacos 配置中心的基本使用入手, 详细介绍 Nacos 客户端发布配置, 拉取配置, 订阅配置的过程以及服务器对应的处理过程;配置订阅以及热更新原理相关的部分, 我看了主流的博客网站, 绝对没有比这更详细的讲解;
【Nacos无压力源码领读】(三) Nacos 配置中心与热更新原理详解 敢说全网最细
cnzzs的博客
08-07 523
本文将从 Nacos 配置中心的基本使用入手, 详细介绍 Nacos 客户端发布配置, 拉取配置, 订阅配置的过程以及服务器对应的处理过程;配置订阅以及热更新原理相关的部分, 我看了主流的博客网站, 绝对没有比这更详细的讲解;如果在阅读过程中对文中提到的 SpringBoot 启动过程以及扩展机制不太了解, 或者出现了没见...
Android Handler深入学习（源码分析）
jerechen的博客
01-05 852
1. 背景 1.1 Message 定义：Message 是包含着描述信息及任意数据对象的可发送到 Handler 的信息。 /** * 定义包含着描述信息及任意数据对象的可发送到 Handler 的信息。额外包含可以不被分配的两个 * int 字段及一个 对象字段。获取Message最好的方法是调用 Message.obtain() 或 调用 * Handler.obtainMess...
05. NPDP-领读课件
09-15
NPDP，全称为New Product Development Professional，是一款针对产品开发管理的专业认证，由美国产品开发与管理协会(PDMA)颁发。这个认证旨在提升个人在产品创新和管理领域的能力，同时也是业界认可度最高、历史最...
单词领读视频-1.zip
01-13
单词领读视频-1.zip
幼儿园【指南】健康领域领读.doc
09-30
《3-6岁儿童学习与发展指南》中的健康领域主要涵盖了三个方面：身心...总的来说，健康领域的领读活动旨在深入理解和实践《指南》中的教育理念，确保幼儿园的保育和教育工作科学、系统地促进3-6岁儿童的全面健康发展。
一个python智能领读机，包括贝叶斯算法等，可以离线领读，解放双手。参赛获奖项目.zip
10-20
Python的丰富库生态系统使得开发这样的智能领读机成为可能。 2. **贝叶斯算法**：贝叶斯算法是一种统计方法，常用于概率推理和机器学习。在领读机中，它可能被用来预测文本的结构、主题或关键词，帮助确定阅读的...
数据湖与数据仓库的区别
2402_85246552的博客
11-13 435
数据湖与数据仓库是两种不同的数据存储和管理方式，它们在多个方面存在显著的区别。
Spark RDD的groupBy算子和groupBykey算子的对比
z1941563559的博客
11-14 701
groupBy可以基于任意的分组逻辑进行分组，适用于更广泛的场景。返回的是，可以应用于任何RDD。性能上较为灵活，适合不同类型的数据。groupByKey只能用于PairRDD（键值对RDD），且只能基于键来分组。在处理大规模数据时，如果每个键的值非常多，可能会导致性能瓶颈。推荐用于键值对已经按键进行分组的情况，不需要额外的分组逻辑。在Spark中，groupBy和groupByKey都是用于分组数据的算子，但它们的行为和适用场景有所不同，特别是在性能上。
使用 Sparkle 实现 macOS 应用自定义更新弹窗
weixin_42429220的博客
11-13 431
Sparkle 是 macOS 平台上一个优秀的自动更新框架。虽然 Sparkle 提供了默认的更新界面,但有时我们需要自定义更新弹窗以匹配应用的设计风格。本文将介绍如何使用 Sparkle 实现自定义更新界面。首先需要创建一个继承自NSPanelinit() {setupUI()需要创建一个实现// 检查更新// 找到更新// 显示下载进度提供与应用一致的设计风格更好地控制更新流程提供更好的用户体验完整的实现代码可以参考上面的示例。
spark 设置hive.exec.max.dynamic.partition不生效
mrye的博客
11-13 355
spark脚本和程序中设置ive.exec.max.dynamic.partition不生效。
Spark RDD 的 compute 方法
最新发布
z1941563559的博客
11-15 1007
computecompute是一个抽象方法，由具体的 RDD 子类（如HadoopRDD等）实现。：表示 RDD 的一个逻辑分区。：提供了当前任务的上下文信息，如任务 ID、分区 ID 等。：返回一个懒加载的迭代器，用于访问分区内的数据。computecompute是 RDD 中的关键方法，定义了如何读取和处理分区数据。惰性求值与迭代器：通过返回迭代器，compute实现了流式处理和内存优化。扩展性：不同类型的 RDD 通过重写compute，实现适合自己场景的数据读取和计算逻辑。
Spark 读取 HDFS 文件时 RDD 分区数的确定原理与源码分析
z1941563559的博客
11-14 433
Spark 通过goalSize和blockSize来平衡分区数量与块大小。分区数会随着文件大小、块大小、期望分区数等参数变化。分区数设定不合理会影响性能，例如分区数过多会导致任务调度开销增加，分区数过少则可能导致计算资源未充分利用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值