Spark程序执行逻辑迷你版

最新推荐文章于 2024-11-06 19:58:05 发布
最新推荐文章于 2024-11-06 19:58:05 发布
阅读量556 收藏
点赞数
分类专栏： Spark 文章标签： spark 大数据 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_70131998/article/details/127342466
版权

 

Driver就是自己写的程序，里面有一个main方法，main方法划分DAG，形成Task，再把Task发出去
DAGScheduler的功能，将rdd转换逻辑切分stage，生成taskset

然后模拟taskScheduler的功能，将这些task发到Executor上去执行（真正的发送逻辑spark submit
进程启动Driver，然后Driver会找Executor，将Executor启动起来，然后Executor会向Driver反向注册
是动态获取的，这样Driver会持有Executor的地址，Executor知道Driver在哪里，Driver也知道Executor在哪里）

注意，如果划分有两个stage，是会有两个taskset的

然后在虚拟机上，上传打好的jar包，这样就会看到三个节点有三个Executor启动，然后用submit进程启动，里面调用Driver
发布任务到Executor，然后三个Executor就会执行对应自己分区的任务

{BOOLEAN}
关注
专栏目录
Spark(11) -- Spark实现ip地址查询案例及Sogou日志分析（scala版）
erainm
10-04 1023
1. 需求分析 2. 技术调研 3. 架构设计 4. 开发 5. 代码
深度学习：卷积神经网络从入门到精通
热门推荐
GitChat
03-28 2万+
内容简介 全面介绍各种卷积神经网络的模型、算法及应用，指导读者把握其形成和演变的基本脉络，以帮助读者在较短的时间内从入门达到精通的水平。有兴趣的读者可以从本书开始，通过图像分类、识别、检测和分割的案例，逐步深入卷积神经网络的核心，掌握深度学习的方法和精髓，领会 AlphaGo 战胜人类世界冠军的奥秘。 作者简介 李玉鑑（鉴） 北京工业大学教授，博士生导师。华中理工大学（现名为华中科技大学）本科毕...
Spark学习-事件日志EventLog
迷思
12-08 3492
事件日志EventLog背景 背景
Hadoop-2.2.0中文文档—— Common - CLI MiniCluster
三分地
05-16 2961
目的 使用 CLI MiniCluster, 用户可以简单地只用一个命令就启动或关闭一个单一节点的Hadoop集群，不需要设置任何环境变量或管理配置文件。 CLI MiniCluster 同时启动一个 YARN/MapReduce 和 HDFS 集群。 这对那些想要快速体验一个真实的Hadoop集群或是测试依赖明显的Hadoop函数的非Java程序 的用户很有用。 Hadoop Ta
spark 3.5版本发布
smileyboy2009的专栏
10-25 1385
此版本引入了更多 Spark Connect 正式发布的方案，例如 Scala 和 Go 客户端、分布式训练和推理支持，以及增强了结构化流式处理的兼容性;引入了新的 PySpark 和 SQL 功能，例如 SQL IDENTIFIER 子句、对 SQL 函数调用的命名参数支持、对 HyperLogLog 近似聚合的 SQL 函数支持以及 Python 用户定义的表函数;在开源社区的重大贡献下，此版本处理了 1,300 多个 Jira 工单。以下功能将在下一个 Spark 主要版本中删除。
DotNet 资源大全中文版（Awesome最新版）
LisenYang的专栏
05-17 7166
DotNet 资源大全中文版（Awesome最新版）
DotNet 资源大全中文版
weixin_30439067的博客
08-15 1036
https://blog.csdn.net/fhzh520/article/details/52637545 目录 算法与数据结构（Algorithms and Data structures） 应用程序接口（API） 应用程序框架（Application Frameworks） 模板引擎（Application Templates） 人工智能（Artificial...
Java 云原生应用（三）
龙哥盟
07-14 1226
在本章中，我们看到了支持云原生应用程序的各种运行时组件，并在各种运行时环境中运行了我们的应用程序，比如 Kubernetes 和 Cloud Foundry。在下一章中，我们将在 AWS Cloud 上部署我们的服务。在本章中，我们介绍了 AWS 平台提供的一些选项，以及我们如何可以从弹性 Beanstalk 部署我们的应用程序，这是针对 Web 应用程序的。我们部署到 ECS，用于部署容器化工作负载，不限于 Web 应用程序工作负载。然后，我们部署了一个 AWS Lambda 函数，无需配置底层硬件。
Flink从1.7到1.14版本升级汇总
微信搜：import_bigdata，大数据领域硬核原创作者
10-09 1527
点击上方蓝色字体，选择“设为星标”回复”面试“获取更多惊喜 一 .前言官方发布了Flink1.14版本，但是遗憾的是，中文官网中的案例和资料还都是基于很古老的版本。所以大家照着官网资料...
Python基础教程(微课版)林子雨主编，简单写了一点笔记
ssssl00的博客
11-01 4740
1.机器语言2.汇编语言3.高级语言1.1.2为什么选择pyhton？1）入门容易2）功能强大3）应用领域广泛1.2.1python简介python：解释性高级语言设计哲学：“优雅、快捷、明确、简单”优点：语言简单、代码简洁(量少)、开源免费、面向对象、跨平台、强大的生态系统（功能强大）。缺点：速度慢、代码不能加密、2.0和3.0不兼容。1.2.3python应用1.数据科学（大数据、数据可视化、数据分析）2.人工智能（第三方库实现）
Flink入门介绍和安装部署、第一个Flink程序WC
11号车厢
08-13 372
文章目录1、Flink介绍1.1 Flink是什么1.2 Flink部署在什么地方1.3 Flink编程模型1.4 程序和数据流2、Flink搭建3、Maven依赖，写第一个Flink程序WC 1、Flink介绍 1.1 Flink是什么 Apache官网： https://flink.apache.org/ Apache Flink® - Stateful Computations over D...
python电商项目介绍_电商大数据项目-推荐系统实战（一）
weixin_39738152的博客
12-21 1595
本项目是基于Spark MLLib的大数据电商推荐系统项目，使用了scala语言和java语言。基于python语言的推荐系统项目会另外写一篇博客。在阅读本博客以前，需要有以下基础：1.linux的基本命令2.至少有高中及以上的数学基础。3.至少有java se基础，会scala语言和Java EE更佳(Jave EE非必需，但是可以帮助你更快理解项目的架构)。4.有github账户，并且至少知道...
电商大数据项目-推荐系统实战（一）
weixin_33893473的博客
12-02 7785
电商大数据项目-推荐系统实战（一）环境搭建以及日志，人口，商品分析https://blog.51cto.com/6989066/2325073电商大数据项目-推荐系统实战之推荐算法https://blog.51cto.com/6989066/2326209电商大数据项目-推荐系统实战之实时分析以及离线分析https://blog.51cto.com/6989066/2326214 开源项目，请勿用...
Spark的学习-02
qq_62984376的博客
11-06 498
当有任务进行中的时候，就可以启动4040端口，若此任务并没有执行完毕，集群中又启动了新的端口，就会再启动一个4041端口.....可以一直累加下去。注意：我们前面已经将spark的软连接链接到了 standalone（集群）上，所以需要先把之前的软连接删除掉，重现创建新的，指向本地。此处运行的程序，其实就是4040端口中正在执行的进程，当这个正在running的任务结束后，显示执行完成时，4040端口就打不开了。所以我们在本地模式的时候，是无法启动8080端口的，只能启动4040。
Spark中的shuffle
最新发布
weixin_63297999的博客
11-06 847
Spark Shuffle过程,Spark中有哪些shuffle【分类的】
Spark的Standalone集群环境安装
出发行进
11-06 793
在虚拟机完成集群standalone模式的spark安装以及一个简单案例测试。
Spark SQL大数据分析快速上手-DataFrame应用体验
brucexia的专栏
11-06 760
本节主要介绍如何使用DataFrame进行编程。在旧版本中，Spark SQL提供两种SQL查询起始点：一个叫作SQLContext，用于Spark自己提供的SQL查询；一个叫作HiveContext，用于连接Hive的查询。SparkSession是Spark最新的SQL查询起始点，实质上是SQLContext和HiveContext的组合。因此，在SQLContext和HiveContext上可用的API，在SparkSession上同样可以使用。
使用PyCharm连接虚拟机运行spark任务，本地开发：远程提交测试
weixin_63297999的博客
11-06 207
在本地写代码，右键运行，将代码自动提交到集群上。spark是Standalone集群。
mysql-springboot netty-flink-kafka-spark(paimon)-minio
青春不流名
11-05 102
构建完成的进行解压操作并添加相应的jar文件。1、下载spark源码并编译。
详细阐述Spark程序执行时流程。
07-08
当您提交一个Spark程序时，...需要注意的是，Spark程序的执行是分布式的，它可以在一个集群中的多个计算节点上并行处理数据。Spark会自动管理任务的划分和调度，并尽可能最大化地利用集群中的计算资源来提高执行效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

{BOOLEAN}

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值