Spark运行基本流程-----学习笔记

最新推荐文章于 2023-10-13 14:13:46 发布
最新推荐文章于 2023-10-13 14:13:46 发布
阅读量793 收藏 2
点赞数 1
分类专栏： Hadoop 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/PeixinYe/article/details/79666414
版权

1、首先构建基本运行环境：Driver创建一个SparkContext，进行资源的申请、任务的分配和控制；（Shell中不需要构建，系统会自动生成一个SC）

2、资源管理器为Executor分配资源，并启动Executor进程；

3、SparkContext根据RDD的依赖关系构建DAG图，DAG图提交给DAGScheduler解析成Stage，然后把一个个TaskSet提交给底层调度器TaskScheduler处理；Executor向SparkContext申请Task，Task Scheduler将Task发放给Executor运行，并提供应用程序代码；

4、Task在Executor上运行，把执行结果反馈给TaskScheduler，然后反馈给DAGScheduler，运行完毕后写入数据并释放所有资源 ；（层层反馈）

特点：

1、每个Application都有自己专属的Executor进程，并且该进程在Application运行期间一直驻留。Executor进程以多线程的方式运行Task

2、Spark运行过程与资源管理器无关，只要能够获取Executor进程并保持通信即可

3、Task采用了数据本地性和推测执行等优化机制



PeixinYe
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【小白视角】大数据基础实践（七） Spark的基本操作_spark操作类型
2401_84181911的博客
04-17 1189
Spark SQL在Hive兼容层面仅依赖HiveQL解析、Hive元数据，也就是说，从HQL被解析成抽象语法树（AST）起，就全部由Spark SQL接管了。解压安装包（sudo tar -zxvf scala-2.11.8.tgz -C /usr/local/），并更改 scala。通 过 spark-submit 命令运行 spark 自 带 实 例 ， spark 自 带 实 例 都 在。配置环境变量，添加 SPARK_HOME 变量，并在 PATH 变量中添加相应的 bin 目录。
【Spark精讲】Spark任务运行流程
最新发布
话数Science
12-12 2958
Spark精讲，Spark任务运行流程，Spark任务执行流程，client模式，cluster模式，yarn-client模式，yarn-cluster模式，master参数
spark运行流程
qq_45450889的博客
06-29 897
执行计算：Spark执行计算时采用惰性求值的方式，即不会立即执行转换操作，而是记录下转换操作的逻辑。转换数据：通过转换操作对加载的数据进行处理和转换。Spark提供了丰富的转换操作，如映射、过滤、排序、聚合等，可以将数据进行清洗、筛选和加工。行动操作：行动操作是Spark计算流程中的最后一步，其作用是触发Spark的计算，并将结果返回给驱动程序或输出到外部存储介质。缓存数据：可选步骤，如果需要多次使用某个数据集，可以将其缓存到内存中，以便反复访问，加快后续计算速度。
Spark运作流程以及入门概念(task、job、stage、application)
m0_63290947的博客
08-02 543
spark基础概念以及易混淆概念辨别、spark简单工作模式
Spark入门实战系列--4.Spark运行架构
yirenboy的专栏
08-19 6083
Spark注重建立良好的生态系统，它不仅支持多种外部文件存储系统，提供了多种多样的集群运行模式。部署在单台机器上时，既可以用本地（Local）模式运行，也可以使用伪分布式模式来运行；当以分布式集群部署的时候，可以根据自己集群的实际情况选择Standalone模式（Spark自带的模式）、YARN-Client模式或者YARN-Cluster模式。
Spark核心概念释义及基本运行流程
星空的风fly
03-27 3715
一个application包括driver program和executors，一个application应用可以有多个job组成，一个action算子对应一个job，一般而言，程序中有几个action算子就会产生几个job。一个job可以由多个stage组成，一个stage对应多个task，task由dirver发送到各个executor，task运行在executor中，exector以并行的方式执行task。每个Executor独占一个Container
Spark-Core学习知识笔记整理
03-01
Spark-Core文档是本人经三年总结笔记汇总而来，对于自我学习Spark核心基础知识非常方便，资料中例举完善，内容丰富。具体目录如下： 目录 第一章 Spark简介与计算模型 3 1 What is Spark 3 2 Spark简介 3 3 Spark...
Spark-学习.rar
08-09
"Spark学习.md"很可能是一个Markdown格式的学习笔记或教程，Markdown是一种轻量级的文本格式语言，通常用于编写技术文档。这个文件可能涵盖了Spark的基础概念，比如RDD（弹性分布式数据集）、DataFrame、DataSet，...
workflow-notes:AWS Bash Cassandra Conda Docker Heroku Pandas SQL PySpark Python uWSGI上的注释
03-28
我们可以推断这是一个关于使用上述技术进行数据工作流程的笔记，可能包含如何在AWS上配置环境、使用Cassandra存储数据、通过Docker部署服务、利用Pandas和PySpark进行数据分析、在Heroku上发布应用，以及如何利用...
spark-2.1.1:spark原始物走读注解解
03-23
Spark 2.1.1中的ML Pipeline API使得构建和调整机器学习流程更为便捷。 通过深入Spark 2.1.1的源码，我们可以更全面地了解其设计思想和实现细节，这对于优化Spark应用、解决实际问题以及参与开源社区贡献都是非常有...
Spark总体架构和运行流程
01-07
本节将首先介绍 Spark 的运行架构和基本术语，然后介绍 Spark 运行的基本流程，最后介绍 RDD 的核心理念和运行原理。 Spark 总体架构 Spark 运行架构如图 1 所示，包括集群资源管理器（Cluster Manager）、多个运行作业任务的工作结点（Worker Node）、每个应用的任务控制结点（Driver）和每个工作结点上负责具体任务的执行进程（Executor）。 图 1  Spark运行架构 Driver 是运行 Spark Applicaion 的 main() 函数，它会创建 SparkContext。SparkContext 负责和 Cluster M
databricks-notebooks：示例Databricks Spark笔记本的集合（主要用于Azure Databricks）
01-30
用户可以利用Databricks Notebook来编写、运行和管理Spark作业。 3. **Python**：Python是Databricks中广泛使用的编程语言，因其易读性和丰富的数据科学库（如Pandas、NumPy和SciPy）而受到欢迎。在这些笔记本中，...
Spark(25)-Spark运行基本流程解释
Matrix70的博客
06-08 109
在解释器中，当我们进入spark-shell时，SparkContext的sc对象是系统自动创建的，可以通过sc对象访问。把任务发配到数据所在的机器即把代码在对应的Executor上.数据本地性：分发任务时，优先把任务扔到数据所在的地方，让数据本地，不需要来回的跨机器传输数据。推测执行：数据在机器1上，但机器1已经满了，任务来了那怎么办，是等着还是转移呢，他自己衡量优劣。系统会自动分配Executor进程的，并且多线程，启动时间快，以线程启动开销小。部分代码都是一次次对RDD的操作，比如我们平台的算子。
Spark工作流程
YoungITの博客
10-13 838
整个流程中，Spark 通过惰性求值和执行计划的方式实现了高效的数据流处理。它利用分布式计算和内存存储的优势，将数据加载到内存中进行处理，从而加速了计算过程。同时，Spark 提供了丰富的转换和操作操作，使得用户可以快速高效地处理和分析大规模数据集。
Spark大数据分析与实战课后答案
热门推荐
BIPT919的博客
06-09 2万+
Spark大数据分析实战课后答案
Spark应用运行流程
小小本科生成长之路
04-10 4282
相关基本术语 ------------------------- Application：应用，即用户需要完成的应用程序。一般来说，这部分代码需要用户根据自己的需求来完成。这部分代码主要包括两部分：Driver和Executor。 Driver：顾名思义，驱动者，为Application准备运行环境，驱动并监控Application的运行。 Worker：当SparkContext申请到资
Spark任务的任务执行流程
qq_41316200的博客
02-28 2775
（1）将我们编写的程序打成jar包 （2）调用spark-submit脚本提交任务到机场上运行 （3）运行sparkSubmit的main方法，在这个方法中通过反射的方式创建我们编写的主类的实例对象，然后调用main方法，开始执行我们的代码（注意，我们的spark中的driver就运行在sparkSubmit进程中）。 （4）当代码运行到创建SparkContext对象时，那就开始初始化SparkContext对象了 （5）在初始化SparkContext对象的时候，会创建两个特别重要的对象，分别是
spark工作流程及原理（一）
我见青山多妩媚，料青山见我应如是
06-27 1万+
Spark架构的组成图如下： Cluster Manager：在standalone模式中即为Master主节点，控制整个集群，监控worker。在YARN模式中为资源管理器 Worker节点：从节点，负责控制计算节点，启动Executor或者Driver。 Driver： 运行Application 的main()函数        Executor：执行器，是为某个Applicat...
spark机器学习 one-hot编码
05-26
在Spark机器学习中，可以使用OneHotEncoder将分类变量转换为数值变量。OneHotEncoder接受一个输入列和一个输出列，生成一个新的向量列。在生成新列时，它会将每个分类变量转换为二进制向量，其中每个二进制位代表一个可能的值。如果某个分类变量有n个可能的值，那么将生成一个长度为n的二进制向量，其中只有一个元素为1，其余元素均为0。这种编码方式可以有效地处理分类变量，并且不会引入偏差。 下面是一个使用OneHotEncoder进行编码的示例代码： ``` from pyspark.ml.feature import OneHotEncoder # 创建一个DataFrame data = [(0, "cat"), (1, "dog"), (2, "cat"), (3, "fish"), (4, "cat"), (5, "dog")] df = spark.createDataFrame(data, ["id", "category"]) # 创建一个OneHotEncoder对象 encoder = OneHotEncoder(inputCol="category", outputCol="categoryVec") # 使用OneHotEncoder对分类变量进行编码 encoded = encoder.transform(df) # 显示编码结果 encoded.show() ``` 输出结果如下： ``` +---+--------+-------------+ | id|category| categoryVec| +---+--------+-------------+ | 0| cat|(2,[0],[1.0])| | 1| dog|(2,[1],[1.0])| | 2| cat|(2,[0],[1.0])| | 3| fish| (2,[],[])| | 4| cat|(2,[0],[1.0])| | 5| dog|(2,[1],[1.0])| +---+--------+-------------+ ``` 其中，categoryVec列是使用OneHotEncoder生成的新列，它将原始的category列中的分类变量转换为了二进制向量。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值