Spark源码阅读04-Spark运行架构之Standalone运行模式

于 2024-04-09 21:52:59 发布
阅读量591 收藏 21
点赞数 11
分类专栏： 程序员 文章标签： spark 架构 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/erghtt/article/details/137569180
版权

基本介绍

Standalone运行模式又称独立运行模式，它是是Spark自身实现的资源调度框架，可以单独部署到一个集群中，无依赖任何其他资源管理系统。

不使用其他调度工具时会存在单点故障，使用Zookeeper等可以解决；

该模式由Client、Master节点和 Worker节点组成，其中SparkContext 既可以运行在Master节点上，也可以运行在本地客户端。

运行流程图

当用 Spark-Shell交互式工具提交作业或者直接使用run-example脚本来运行示例时，SparkContext在 Master节点上运行；当使用Spark-Submit工具提交作业或者在Eclipse、IDEA等开发平台上运行Spark作业时，SparkContext是运行在本地客户端。

Worker节点可以通过ExecutorRunner运行在当前节点上的 CoarseGrainedExecutorBackend进程，每个Worker节点上存在一个或多个CoarseGrainedExecutorBackend进程，每个进程包含一个Executor对象。该对象持有一个线程池，每个线程可以执行一个任务。

运行流程如下图

在这里插入图片描述

运行流程介绍

依据上面的运行流程

最低0.47元/天 解锁文章
erghtt
关注
专栏目录
spark(2) -- spark运行模式及Spark local模式安装与Spark Standalone集群
erainm
10-01 920
 Spark 框架编写的应用程序可以运行在本地模式(Local Mode)、集群模式(Cluster Mode) 和云服务(Cloud)，方便开发测试和生产部署。 概述 本地模式:Local Mode 将Spark 应用程序中任务Task运行在一个本地JVM Process进程中，通常开发测试使用。 本地模式LocalMode运行:启动一个JVM进程，里面运行Task任务，Task任务并行运行数目依据分 配CPU Core核数，在Spark应用中，一个Task任务运行，需要1Core CPU。 1)
到底什么是standalone模式
微电子学与固体电子学-俞驰
06-07 1万+
绝大多数博客都会说这个是单机模式。 谷歌上定义如下: Standalonemode is the default mode of operation ofHadoopand it runs on a single node ( a node is your machine). HDFS and YARN doesn't run onstandalonemode. Pseudo-Distributed mode stands between thestandalonemode and ful...
Spark运行模式Standalone 模式
翁老师的教学团队
05-18 883
Standalone 模式 Standalone 模式概述 standalone n. 脱机; adj. 单独的，独立的; local 本地模式毕竟只是用来进行练习演示的，真实工作中还是要将应用提交到对应的集群中去执行 所在开发中使用 Spark 自身节点运行的集群模式，也就是我们所谓的独立部署（Standalone）模式。 Spark 的 Standalone 模式体现了经典的master-slave 模式。 独立部署（Standalone）模式 = 主从 集群规划: 集群部署
Spark系统架构（Standalone模式）
qq_39889944的博客
10-31 1112
本文简单介绍了Spark框架在Standalone模式下结构，并描述各个部分的作用及特点。文章结尾同MapReduce进行了比较
Spark三大运行模式之Standalone 模式
weixin_43520450的博客
09-14 533
Standalone 模式一、模式概述二、安装使用三、JobHistoryServer 配置四、HA配置 一、模式概述 构建一个由 Master+Slave 构成的 Spark 集群，Spark 运行在集群中。 二、安装使用 （1）进入 spark 安装目录下的 conf 文件夹 [atguigu@hadoop102 module]$ cd spark/conf/ （2）修改配置文件名称 [atguigu@hadoop102 conf]$ mv slaves.template slaves [atguig
Spark环境搭建Standalone模式
m0_57228021的博客
03-15 1080
2.4 Standalone模式 在Standalon模式中，Spark集群由Master节点和Worker节点构成，使用内置的Standalon框架进行资源管理。Spark程序通过与Master节点交互，申请所需资源。Worker节点负责具体的Executor的启动运行。 Standadlon模式的程序执行流程如下图所示： 图2-5Standadlon模式的程序执行流程图 Spark集群启动，Worker节点向Master节点汇报各节点资源情况； 由客户端（Client）提交执行程序的任..
Spark部署方式---Standalone
天道酬勤
11-12 6902
官方地址：http://spark.apache.org/docs/latest/spark-standalone.html 1、搭建Standalone模式集群 2、手动启动集群        2-1) 在master节点上启动Spark Master服务，./sbin/start-master.sh                 Master服务成功启动后，会打印出park://HO
spark三种模式【Standalone 模式、yarn 运行模式、local(本机)】
lyq7269的博客
08-07 8632
Standalone 模式 standalone模式也叫作独立模式，自带完整的服务，可单独部署到一个集群中，无序依赖任何其他资源管理系统。 从一定程度上来说，该模式是其他两种模式的基础。借鉴Spark开发模式，我们可以得到一种开发新型计算框架的一般思路：先设计出它的standalone模式，为了快速开发，期初不需要考虑服务（比如master、slaves）的容错性，之后开发相应的wrapper，将standalone模式下的服务原封不动的部署到资源管理系统yarn或者mesos上，有资源管理系统负责服务本身
Spark环境搭建（Stand alone模式 && Stand alone HA模式）
m0_48639280的博客
12-28 1596
Standalone模式是Spark自带的一种集群模式，不同于前面本地模式启动多个进程来模拟集群的环境，Standalone模式是真实地在多个机器之间搭建Spark集群的环境，完全可以利用该模式搭建多机器集群，用于实际的大数据处理。开启两个任务，就会在master进程中开启两个对应的 Driver，对应的Executor各自汇报给对应的Driver，Executor数量根据你任务情况而定。在 standalone 模式下， master进程和 worker进程是固定的。
Flink的部署模式：Local模式、Standalone模式、Flink On Yarn模式
积跬步，至千里。
09-22 3747
Local模式、Standalone模式和FlinkonYARN模式是Flink的三种常见部署模式。
Spark本地模式与Spark Standalone伪分布模式
热门推荐
光于前裕于后的博客
04-23 1万+
spark的本地模式类似于hadoop的单机模式，是为了方便我们调试或入门的。 1.先去官网下载下来http://spark.apache.org/downloads.html，不要下错了，下载pre-built（这是已经编译好了，产生了二进制文件的）for 你的hadoop版本。
Standalone是什么？Standalone集群的三类进程
CZ-001的博客
07-04 369
StandAlone 是完整的Spark运行环境,其中: Master角色以Master进程存在, Worker角色以Worker进程存在 Driver和Executor运行于Worker进程内, 由Worker提供资源供给它们运行。Standalone模式是Spark自带的一种集群模式，不同于前面本地模式启动多个进程来模拟集群的环境，Standalone模式是真实地在多个机器之间搭建Spark集群的环境，完全可以利用该模式搭建多机器集群，用于实际的大数据处理。
Spark内容分享(四)：Spark集群模式_Standalone搭建步骤有哪些？
最新发布
之乎者也·的博客
01-01 1146
被分配到各个 Executor 的单位工作内容，它是 Spark 中的最小执行单位，一般来说有多少个 Paritition（物理层面的概念，即分支可以理解为将数据划分成不同部分并行处理），就会有多少个 Task，每个 Task 只会处理单一分支上的数据。在阶段划分完成和Task创建后， Driver会向Executor发送 Task；3）、Executor在接收到Task后，会下载Task的运行时依赖，在准备好Task的执行环境后，会开始执行Task，并且将Task的运行状态汇报给Driver；
深入理解Spark 2.1 Core （五）：Standalone模式运行的原理与源码分析
01-05 3172
概述前几篇博文都在介绍Spark的调度，这篇博文我们从更加宏观的调度看Spark，讲讲Spark的部署模式。Spark部署模式分以下几种： local 模式 local-cluster 模式 Standalone 模式 YARN 模式 Mesos 模式 我们先来简单介绍下YARN模式，然后深入讲解Standalone模式。YARN 模式介绍YARN介绍YARN是一个资源管理、任务调度的框架，主要包含
Flink任务调度原理之TaskManager 与Slots
叁木大数据
04-28 1万+
TaskManager 与Slots 一、作用与关系 上文讲到了每一个worker(TaskManager)为了控制能接收多少个task,worker通过task slot来进行控制（一个worker至少有一个task slot）,那么是怎么处理的呢？话不多说先上图 总： Flink 中每一个 TaskManager 都是一个JVM进程，它可能会在独立的线程上执行一个或多个 subtask 为...
Spark学习之standalone模式部署实战
见证
02-28 1万+
测试 假设我们有以下东西 要部署的spark程序，已经打包成一个jar包 四台机器，并且已经互相打通 spark安装包
Spark源码解析：Job提交与运行详解
本文主要探讨了Apache Spark源码中的Job提交与运行机制，以wordCount为例进行详细解析。首先，作者介绍了实验环境的准备步骤，包括下载Spark binary（版本0.9.1），安装Scala、SBT（Sbt构建工具）和Java。在Spark ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值