SparkCore任务调度源码阅读_简述Spark任务的调度原理

已于 2022-10-17 18:15:34 修改
阅读量797 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 安全漏洞相关 文章标签： spark java 大数据
于 2022-10-17 18:15:26 首次发布
版权声明：叶涛SEO网站优化网络推广专栏,本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yetaodiao/article/details/127371439
本文深入探讨SparkCore任务调度，分析NarrowDependency（包括OneToOneDependency和RangeDependency）与ShuffleDependency的区别。接着，解释DAGScheduler如何生成Task（ShuffleMapTask和ResultTask），并提交TaskSet。最后，讨论TaskScheduler的角色，包括TaskSchedulerImpl的FIFO和FAIR调度策略以及任务提交和撤销的实现。

SparkCore任务调度源码阅读:

Dependency

Spark将RDD之间的依赖分为窄依赖和宽依赖，源码中对应的定义分别为NarrowDependency和ShuffleDependency。 其中NarrowDependency又有两种OneToOneDependency和RangeDependency两种实现。

NarrowDependency

OneToOneDependency用于描述一个子RDD只依赖一个父RDD的情况。 RangeDependency用于描述一个子RDD依赖多个父RDD，但每个父RDD只被一个子RDD依赖的情况。

OneToOneDependency

实现如下：

@DeveloperApi

class OneToOneDependency[T](rdd: RDD[T]) extends NarrowDependency[T](rdd) {

  <
了解本专栏 订阅专栏 解锁全文
博客
Windows下nginx+tomcat的负载均衡
04-12 56万+
一、为什么需要对Tomcat服务器做负载均衡： Tomcat服务器作为一个Web服务器，其并发数在300-500之间，如果有超过500的并发数便会出现Tomcat不能响应新的请求的情况，严重影响网站的运行。另外，在访问量大的情况下，Tomcat的线程数会不断增加。由于Tomcat自身对内存的占用有控制，当对内存的占用达到最大值时便会出现内存溢出，对网站的访问严重超时等现象，这时便需要重新启
博客
【Docker项目实战】使用Docker部署EspoCRM开源客户关系管理平台
09-06 1371
EspoCRM 是一款免费的开源客户关系管理(CRM)平台，旨在帮助各种规模的企业有效地建立和维护客户关系。它提供了一套全面的工具用于存储、组织和管理所有与业务相关的客户信息，包括潜在客户、联系人、销售机会、营销活动和支持案例等。该平台设计有一个直观且易于使用的界面，使用户能够高效地管理其业务数据。1.本次实践部署环境为个人测试环境，生产环境请谨慎；2.在Docker环境下部署EspoCRM系统。
博客
OpenAI 替代方案？Ollama 与 SpringAI 的实战体验
09-06 1077
从自动配置到低级 API，SpringAI 对 Ollama 的支持真的非常全面。本地可控(不用担心数据安全)。免费运行(除了显卡电费)。兼容性好(API 类似 OpenAI)。在我的实战体验里，最让我惊喜的就是结构化输出 + BeanOutputConverter，直接把大模型回复变成 Java 对象，极大提升了业务开发效率。未来我打算在公司内部搭个私有化 AI 服务，用 Ollama + SpringAI，完全不依赖外部 API，既安全又高效。
博客
C #编程技术难点有什么？高并发场景下Task与async/await性能瓶颈有哪些？C#调用系统API时应如何减少差异性问题？
09-05 921
C#作为一门现代编程语言，其技术难点涵盖多个层面，从运行时机制、内存管理、并发模型，到泛型与反射、性能优化和底层互操作。这些难点不仅考验开发者对语法的掌握，更要求对系统底层原理、运行机制和性能特征有深入理解。精准优化程序性能；设计健壮、安全的系统；在高并发和大规模应用场景下保持稳定运行；掌握新特性带来的效率提升，同时理解潜在风险。C#的技术挑战体现了现代软件开发的复杂性，同时也提供了丰富的探索空间。系统掌握这些知识，将有助于开发者在高性能计算、分布式服务、云原生和跨平台开发等领域获得优势。
博客
uniapp实现钉钉网页应用jsapi鉴权、免登功能（前后端）
09-05 1001
我们本来是有个app，已经正常上线使用了，框架用的是uniapp。现在想搞到钉钉应用上，一开始想做钉钉小程序，就先简单说一下钉钉小程序基础开发，然后再详细介绍钉钉网页应用。
博客
基于SpringBoot和Leaflet集成在线天气服务的区县当前天气WebGIS实战
09-05 1075
在当今数字化时代，地理信息系统(WebGIS)作为一种强大的空间信息展示与分析工具，已经广泛应用于各个领域。它不仅能够直观地呈现地理数据，还能结合实时信息为用户提供更加丰富和动态的体验。天气信息作为与人们日常生活息息相关的重要数据，其与WebGIS的结合更是具有巨大的应用价值。本文将深入探讨如何基于SpringBoot框架和Leaflet库，集成在线天气服务，构建一个展示区县当前天气的WebGIS系统，旨在通过实战案例为相关开发者提供参考和借鉴。
博客
Sharding-JDBC分库分表
09-05 1265
最早是当当网内部使用的一款分库分表框架，到2017年的时候才开始对外开源，这几年在大量社区贡献者的不断迭代下，功能也逐渐完善，现已更名为，2020年416正式成为Apache软件基会的顶级项。随着版本的不断更迭 的核心功能也变得多元化起来。从最开始 Sharding-JDBC 1.0 版本只有数据分片，到 Sharding-JDBC 2.0 版本开始支持数据库治理(注册中心、配置中心等等)，再到 Sharding-JDBC 3.0版本又加分布式事务 (支持AtomikosNarayanaBitronix。
博客
别再只会背八股了！一文带你彻底搞懂UNION与UNION ALL的区别
09-05 700
好啦，今天的分享就到这里啦！UNION会去重，性能差一点；UNION ALL不去重，性能更好。场景不同，选择不同：报表用UNION，日志合并/分页用UNION ALL。面试时答题要分层次，既要讲基础区别，也要说性能原理，还要结合场景。
博客
干货分享：Harmonyos Next组件式开发中的高效传参技巧
09-05 989
大家好，我是若城。写这个系列的目的是为了帮助大家在HarmonyOS开发时能够快速地掌握实用功能的开发技巧。本系列注重实用性和可操作性，提供简洁明了的代码示例和讲解，让开发者能够直接复制粘贴就可以实现相应功能。本文将重点介绍HarmonyOS Next中组件式开发的传参方法，这是构建可维护、可复用应用的关键技能。通过实际案例，我们将展示如何在父子组件间传递数据和方法，帮助你掌握组件通信的核心技巧。
博客
【Docker项目实战】使用Docker部署moments极简朋友圈
09-04 1014
moments 是一个极简设计的朋友圈社交平台，旨在为用户提供一个简洁而高效的分享空间。它允许用户轻松记录和分享生活中的点滴时刻、创意作品以及其他任何想要记录的内容。通过其直观的界面和一系列实用功能，moments 促进了用户之间的交流与互动。1.本次实践部署环境为个人测试环境，生产环境请谨慎；2.在Docker环境下部署moments极简朋友圈moments 是一个设计简洁的朋友圈社交平台，它提供了一个直观的界面和多种实用功能，让用户能够轻松地记录和分享生活中的各种时刻。
博客
基于华为开发者空间，链表操作秘籍—通讯录管理全接触
09-04 807
在现代软件开发中，数据结构的选择对程序的性能和可维护性有着至关重要的影响。数组和链表作为两种最基本的数据结构，分别适用于不同的场景。理解它们的特性和优劣，能够帮助开发者在实际项目中做出更合理的技术选型，从而优化系统性能。链表是一种动态的数据结构，它通过结点之间的指针链接来组织数据。与数组不同，链表的存储空间是动态分配的，不需要预先分配固定大小的内存。单向链表是一种基础的数据结构，由一系列节点组成，每个节点包含两部分：数据域和指针域。
博客
一次Feign超时引发的血案：生产环境故障排查全记录
09-04 1148
在一个风和日丽的下午，我正在享受着敲代码带来的的心流体验，突然生产那边的同事告诉我有一台设备无法正产生产，这种情况偶尔也会遇到，一般都能很快解决，但这次不同。我测试调用了一下线上接口，然后用 Skywalking 查找最近比较耗时的接口，就能找到调用的接口，总共耗时 20s，其中阶段 S2 耗时 8.5s。上一顿操作猛如虎，根据设备的生产任务信息找到了相关的日志，找相关的研发一起看了下，业务逻辑都是按照正常逻辑做的，生成的数据也是正常的，这就有点奇怪了。如果参数不一样，可以用缓存，而不是调用接口。
博客
ViTAR：模糊位置编码让视觉Transformer适配任意分辨率图像
09-04 514
ViTAR代表了视觉Transformer技术的重要进步，特别是在处理多样化和高分辨率图像数据的应用场景中表现出显著优势。该技术通过模糊位置编码的创新机制实现了输入尺寸的灵活性，保持了空间细节信息的完整性，同时避免了传统模型在预处理阶段的复杂操作。对于需要处理真实世界复杂视觉数据的应用场景，ViTAR提供了一个技术上更为先进和实用的解决方案。其在保持计算效率的同时实现了对任意分辨率图像的有效处理，为计算机视觉技术在更广泛领域的应用奠定了坚实的技术基础。作者：Rayan Yassminh。
博客
华为开发者空间中基于Spotlight的电商推荐模型训练
09-04 879
在互联网时代，推荐系统一直以来都是一个热门技术领域，也是智能技术在商业中最成功和最广泛的应用之一。它是根据用户的历史行为、社交关系、兴趣点等信息去判断用户当前需要或感兴趣的产品或者服务的一类应用。推荐系统本身是一种信息过滤的方法，与搜索和栏目导航组成三大主流的信息过滤方法。隐式反馈和显式反馈是推荐系统中常用的两种反馈信息类型。它们在数据来源、处理方式和应用场景等方面有所不同。显式反馈是用户对物品的评分，如电影评分。
博客
Spring AI 骚操作：让大模型乖乖听话，直接返回 Java 对象！
09-04 533
还在为解析大模型返回的非结构化文本而头疼吗？还在用一堆if-else和正则表达式做着繁琐的字符串切割吗？现在，有了 Spring AI 的(Structured Output Converter)，这一切都将成为过去式！这个神器能将大语言模型(LLM)返回的原始文本，精准地转换为你想要的任何结构化数据，无论是 JSON、XML 还是一个具体的 Java 对象。对于需要稳定、可靠地处理 AI 输出的应用程序来说，这简直是天降福音！
博客
dify项目结构说明与win11本地部署
09-04 1120
后续会深度研究下dify，智能体的应用要更广泛一些。我也会根据自己的需求，在dify中中的功能进行增强。
博客
【node】token的生成与解析配置
09-04 536
在用户登录成功之后为了记录用户的登录状态通常会将用户信息编写为一个token，通过解析token判断用户是否登录。
博客
百万商品大数据下的类目树优化实战经验分享
09-04 756
我们换个思路。倒排索引：查询速度快；聚合(Aggregation)：专门干统计分析的活；水平扩展：数据量大也能 hold 住。所以，最终我们决定用来做。需求再小，背后都有大学问。一个小小的类目树，其实牵扯到搜索、聚合、性能优化。选对技术栈很重要。如果我们还死磕 MySQL，估计项目早黄了。实战是最好的学习。写博客讲出来，也算是对自己知识的一次梳理。如果你们的项目里，也有类似的“实时统计”、“大数据聚合”需求，Elasticsearch 一定要学会。
博客
【Docker项目实战】使用Docker部署Ralbum开源照片浏览工具
09-03 1195
Ralbum 是一款用于管理和浏览存储在文件系统中的图像和文件的Web应用程序。它通过生成文件夹和图像列表，让用户可以方便地查看和管理他们的图片库。Ralbum 提供了一个轻量级且用户友好的界面，支持多种浏览方式，包括按钮点击、智能手机上的滑动手势以及键盘快捷键导航。该工具确保原始文件的安全性，仅执行读取操作而不进行任何写入动作。1.本次实践部署环境为个人测试环境，生产环境请谨慎；2.在Docker环境下部署Ralbum应用。
博客
【App Service】在Azure环境中如何查看App Service实例当前的网络连接情况呢？
09-03 748
在使用 Azure App Service(Windows 和 Linux)部署应用时，如何分析网络连接情况，尤其是查看特定端口(如 443, 3306, 6380等)的连接状态？所以App Service for Windows 环境中，没有直接的方式可以查看到当前的网络连接情况。但是，在App Service 云环境中，是否还可以使用netstat命令呢？命令在 App Service 的容器或Linux实例中查看端口连接情况， 但是在Windows环境中被禁用。，说明这些连接已成功建立，且由进程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值