spark运行模式

最新推荐文章于 2024-06-22 08:37:39 发布
最新推荐文章于 2024-06-22 08:37:39 发布
阅读量125 收藏
点赞数
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39950222/article/details/101038527
版权
本文详细介绍了Spark的运行模式，包括Local模式（单机）、Local Cluster（单机模拟集群）、standalone模式（集群）、on YARN client模式（集群）和on YARN cluster模式（集群）。standalone模式下，SparkContext向Master申请资源并在Worker上启动Executor。在YARN client模式中，ApplicationMaster负责分配Task，而YARN cluster模式中，Driver运行在AM中，直接与ResourceManager交互申请资源。
摘要由CSDN通过智能技术生成

  1.Local：本地模式(单机)，使用n个线程。

  2.Local Cluster：本地伪分布式模式，可以开启多个虚拟节点。

  3.standalone模式：部署Spark到相关节点。

  4.mesos模式：部署Spark与mesos到相关节点。粗粒度、细粒度：按需分配。

  5.yarn模式：部署Spark与yarn到相关节点。粗粒度：提前分配好资源。

 

 

local模式【单机】

Local模式又称为本地模式，

本地伪集群运行模式（单机模拟集群）

这种运行模式，和Local[N]很像，不同的是，它会在单机启动多个进程来模拟集群下的分布式场景，而不像Local[N]这种多个线程只能在一个进程下委屈求全的共享资源。

standalone模式【集群】

和单机运行的模式不同，这里必须在执行应用程序前，先启动Spark的Master和Worker守护进程

Master进程做为cluster manager，用来对应用程序申请的资源进行管理；Spark-Submit 做为Client端和运行driver程序；CoarseGrainedExecutorBackend 用来并发执行应用程序；

Standalone模式是Spark实现的资源调度框

最低0.47元/天 解锁文章
等你下课_
关注
专栏目录
Spark运行模式
m0_69822077的博客
06-17 989
唯一不同的是，Spark Shell本身为集群的client提交方式运行，不支持cluster提交方式，即使用Spark Shell时，Driver运行于本地客户端，而不能运行于集群中。​ Driver为主控进程，负责执行应用程序的main()方法，创建SparkContext对象（负责与Spark集群进行交互），提交Spark作业，并将作业转化为Task（一个作业由多个Task任务组成），然后在各个Executor进程间对Task进行调度和监控。为了防止出错，建议此处将该选项配置上。
一篇文章读懂：Spark运行模式
不断学习，不断进步，提高自己
05-30 1517
本文主要讲解Spark性能调优与原理分析
Spark运行模式详解
weixin_43553142的博客
12-06 509
二、Spark运行模式 2.1 local模式 Local 模式就是指的只在一台计算机上来运行 Spark.通常用于测试的目的来使用 Local 模式, 实际的生产环境中不会使用 Local 模式. 2.2 Spark 核心概念介绍 2.2.1 Master Spark 特有资源调度系统的 Leader。掌管着整个集群的资源信息，类似于 Yarn 框架中的 ResourceManager，主要功能： 监听 Worker，看 Worker 是否正常工作； Master 对 Worker、Applicatio
Spark运行模式介绍
不忘初欣丶的博客
04-05 2091
Spark三种运行模式，本地运行模式，StandAlone运行模式，Spark on Yarn运行模式介绍
Spark运行模式及安装部署
weixin_42796403的博客
12-21 807
目录一、Spark运行模式二、Spark安装地址三、Local模式3.1 安装使用四、集群角色4.1 Master和Worker集群资源管理4.2 Driver和Executor任务的管理者五、Standalone模式5.1 安装使用5.2 参数说明5.3 配置历史服务5.4 配置高可用（HA）5.5 运行流程六、Yarn模式（重点）6.1 安装使用6.2 配置历史服务6.3 配置查看历史日志6.4 运行流程七、几种模式对比 一、Spark运行模式 部署Spark集群大体上分为两种模式：单机模式与集群模式
详解Spark运行模式（local+standalone+yarn）
大数据
06-30 4882
Spark 有多种运行模式：1.可以运行在一台机器上，称为 Local（本地）运行模式。 2.可以使用 Spark 自带的资源调度系统，称为 Standalone 模式。 3.可以使用 Yarn、Mesos、Kubernetes 作为底层资源调度系统，称为 Spark On Yarn、Spark On Mesos、Spark On K8S。 Driver 是 Spark 中的主控进程，负责执行应用程序的 main() 方法，创建 SparkContext 对象，负责与 Spark 集群进行
Spark运行模式——Spark Standalone模式
m0_70276855的博客
06-22 624
​ Driver为主控进程，负责执行应用程序的main()方法，创建SparkContext对象（负责与Spark集群进行交互），提交Spark作业，并将作业转化为Task（一个作业由多个Task任务组成），然后在各个Executor进程间对Task进行调度和监控。本地模式在提交应用程序后，将会在本地生成一个名为SparkSubmit的进程，该进程既负责程序的提交，又负责任务的分配、执行和监控等。​ 集群的主节点称为Master节点，在集群启动时会在主节点启动一个名为Master的守护进程；
Spark运行模式——Spark On YARN模式
m0_70276855的博客
06-22 359
​
Spark三种运行模式（SparkShell使用）
m0_71010347的博客
06-19 1965
唯一不同的是，Spark Shell本身为集群的client提交方式运行，不支持cluster提交方式，即使用Spark Shell时，Driver运行于本地客户端，而不能运行于集群中。​ Driver为主控进程，负责执行应用程序的main()方法，创建SparkContext对象（负责与Spark集群进行交互），提交Spark作业，并将作业转化为Task（一个作业由多个Task任务组成），然后在各个Executor进程间对Task进行调度和监控。通常用SparkContext代表Driver。
spark(2) -- spark运行模式及Spark local模式安装与Spark Standalone集群
erainm
10-01 905
 Spark 框架编写的应用程序可以运行在本地模式(Local Mode)、集群模式(Cluster Mode) 和云服务(Cloud)，方便开发测试和生产部署。 概述 本地模式:Local Mode 将Spark 应用程序中任务Task运行在一个本地JVM Process进程中，通常开发测试使用。 本地模式LocalMode运行:启动一个JVM进程，里面运行Task任务，Task任务并行运行数目依据分 配CPU Core核数，在Spark应用中，一个Task任务运行，需要1Core CPU。 1)
大数据技术之Spark ——（一）Spark运行模式（local+standalone+yarn）
m0_46615073的博客
08-25 1058
文章目录 前言 一、Spark运行环境 1.1、spark运行环境概述 1.2、local模式 1.2.1、上传spark压缩文件并解压 1.2.2、启动local环境 1.2.3、命令行工具 (wordcount小测试) 1.2.4、提交应用 1.3、Standalone（独立部署模式） 1.3.1、解压缩文件 1.3.2、修改配置文件 1.3.3、启动集群 1.3.4、配置历史服务器 1.4、yarn模式 1.4.2、修改配置文件 1.4.3、启动HDFS和YARN 1
Spark从入门到精通第七课：Spark运行模式概述 && Spark standalone模式精讲 && spark核心概念
曹利荣的博客
03-11 1886
1、Spark运行模式概述 1、spark的运行模式 local yarn-client yarn-cluster standalone-client standalone-cluster k8s/mesos(不讲) 2、local模式： 在Linux上的local： 将spark安装包解压 JAVA...
Spark概述极其运行模式
2301_80840537的博客
03-04 1364
编程模型：Spark提供了更为灵活的编程模型，支持多种编程语言（如Scala、Java、Python和R），并且提供了丰富的高级API（如Spark SQL、Spark Streaming和MLlib等），使得开发者可以更方便地进行数据处理和分析。3.半结构化数据：就是介于完全结构化数据（如关系型数据库、面向对象数据库中的数据）和完全无结构的数据（如声音、图像文件等）之间的数据，HTML文档就属于半结构化数据。它一般是自描述的，数据的结构和内容混在一起，没有明显的区分。
各种函数声明和定义模块
最新发布
09-16
各种函数声明和定义模块
湖北工业大学在河南2021-2024各专业最低录取分数及位次表.pdf
09-16
全国各大学在河北2021-2024年各专业最低录取分数及录取位次数据，高考志愿必备参考数据
1805.06605v2 DEFENSE-GAN.pdf
09-16
1805.06605v2 DEFENSE-GAN.pdf
Spark运行模式全解析：local、standalone与Yarn命令示例
该资源提供的是Spark 2017年的最新运行命令样例，涵盖了Spark在三种运行模式（local、standalone和Yarn）下的提交指令。作者提供了其个人GitHub链接，意在分享更多相关资源。 正文： Spark是大数据处理领域的一个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值