Spark的3种运行模式：单机模式，standalone模式（高可用），yarn模式

最新推荐文章于 2024-08-08 19:38:19 发布
最新推荐文章于 2024-08-08 19:38:19 发布
阅读量1.9k 收藏 1
点赞数 1
分类专栏： Spark 文章标签： java hadoop 大数据 spark linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/guohuishan/article/details/103740945
版权
本文详细介绍了Spark的三种运行模式：单机模式，standalone集群模式（包括高可用配置）以及YARN模式。在单机模式中，讲解了如何搭建并运行示例。在standalone模式中，阐述了集群配置、启动和关闭过程，以及高可用的实现。而对于YARN模式，提到了配置和提交应用的方法。
摘要由CSDN通过智能技术生成

spark运行模式之单机模式

单机版本(local模式)
1.在一台虚拟机上上传spark压缩包到/opt/module/下
2.解压 tar -zxvf 压缩包名字

 tar -xzvf spark-2.4.4-bin-hadoop2.7.tgz

3.重命名解压后的文件

mv spark-2.4.4-bin-hadoop2.7/ spark

4.删除压缩包，节省空间

  rm -rf spark-2.4.4-bin-hadoop2.7.tgz

搭建完成>>>>>>>>>>
运行一下官方的示例(计算圆周率)
#参数10：要计算10次，次数越大，计算的值越准确

 bin/run-example SparkPi 10

把计算圆周率的次数调大，让Spark运行的时间加长
在网页中访问运行的进度

http://clus11:4040/

spark运行模式之集群版本(集群模式)-standalone

服务器做一个目录规划 图片如下

在这里插入图片描述

准备工作（4台虚拟机）
1. 网络
2.免密钥

最低0.47元/天 解锁文章
郭惠姗
关注
专栏目录
spark-shell（pyspark）单机模式使用和编写独立应用程序
m0_68131322的博客
03-21 1793
我的是spark-3.3.3版本，日志文件名字为log4j2.properties.template，每个版本的日志文件名字不太一样，具体的，要按照自己安装的版本的日志文件来，复制日志文件。spark有四种部署方式：Local，Standalone，Spark on Mesos，Spark on yarn。进入python安装目录下的lib/site-packages目录下，使用pip下载安装pyspark，这里使用国内清华大学镜像网站。安装pyspark库成功后，重新运行代码，然后还是报错。
Spark运行过程-三种模式
hua_chang的博客
03-14 627
ark的运行模式多种多样，灵活多变，部署在单机上时，既可以用本地模式运行，也可以用伪分布模式运行，而当以分布式集群方式部署时，也有众多的运行模式可供选择，这取决于集群的实际情况，底层的资源调度即可以依赖外部资源调度框架，也可以使用Spark内建的Standalone模式。 1、本地模式：Spark单机运行，常用于本地开发测试，本地还分为local和local cluster。 2、Standalo...
YARN单机和集群环境部署教程
最新发布
qq_42568323的博客
08-08 1492
通过以上步骤，我们成功部署了 YARN 单机和集群环境，并实现了一个简单的 Word Count 应用。YARN 提供了强大的资源管理和调度能力，可以支持多种分布式计算框架，如 Hadoop MapReduce、Apache Spark 等。
Spark基于yarn做资源管理的单机模式搭建
weixin_37548740的博客
04-02 568
Spark是一个分布式计算框架，将其和hadoop的yarn结合可以很好的将其和hadoop结合 起来来代替MapReduce来做分布式计算 基于上一节单机hadoop的搭建继续按照Spark export SCALA_HOME=/liu/scala/scala-2.10.4 export PATH=$PATH:$SCALA_...
Spark 运行模式
十二的博客
07-23 1266
部署Spark集群大体上分为两种模式：单机模式与集群模式 大多数分布式框架都支持单机模式，方便开发者调试框架的运行环境。但是在生产环境中，并不会使用单机模式。因此，后续直接按照集群模式部署Spark集群。 下面详细列举了Spark目前支持的部署模式。 （1）Local模式：在本地部署单个Spark服务 （2）Standalone模式：Spark自带的任务调度模式。（国内常用） （3）YARN模式：Spark使用Hadoop的YARN组件进行资源与任务调度。（国内常用） （4）Mesos模式：Spark使用M
spark资源调度模式的种类
liziLove_fengmi的博客
06-30 825
1.资源调度模式 1.1 local模式（本地） 运行该模式非常简单，只需要把Spark的安装包解压后，改一些常用的配置即可使用，而不用启动Spark的Master、Worker守护进程( 只有采用集群的Standalone方式时，才需要这两个角色)，也不用启动Hadoop的各服务（除非要用到HDFS文件系统）。 Spark不一定非要跑在hadoop集群，可以在本地，起多个线程的方式来指定。将Spark应用以多线程的方式直接运行在本地，一般都是为了方便调试，本地单机模式分三类： local： 只启动一个ex
spark-单机版spark
DCHAO的博客
06-21 344
需求 在linux中单个节点上装spark用来测试，但这样实际上没有直接在windows的idea中方便spark-在windows中连接虚拟机中cdh集群的hdfs和hive spark仅仅是个计算引擎，它强依赖于文件系统，比如hdfs。测试时没必要为了spark单独装个hadoop，所以spark官网提供了带编译好hadoop的spark https://zhuanlan.zhihu.com/p/125549332?utm_source=wechat_session&utm_medium=so
Spark执行模式详解：local, Standalone client模式
在Hadoop YARN（Yet Another Resource Negotiator）上运行Spark时，也有Client和Cluster两种部署模式。Client模式类似Standalone Client模式，Driver运行在提交应用的客户端，而Executor在YARN容器中运行。 5. ...
Spark安装配置（本地模式、伪分布式、集群模式--standalone,yarn模式）
weixin_47134119的博客
05-07 1957
Spark安装配置 文章目录Spark安装配置2.1 Spark安装2.2 本地模式2.3 伪分布式2.4 集群模式--Standalone模式2.4.1 Standalone 配置2.4.2 运行模式(cluster / client) 2.1 Spark安装 官网地址：http://spark.apache.org/ 文档地址：http://spark.apache.org/docs/latest/ 下载地址：http://spark.apache.org/downloads.html 下载Spa
spark1.2.1常用模式部署运行
03-02
Spark 支持三种分布式部署模式：standalone、spark on mesos 和 spark on YARN。其中，standalone 模式是 Spark 的默认模式，不需要其他的资源管理系统。在 standalone 模式下，Spark 可以以单机模式或伪分布式模式...
spark(2) -- spark运行模式及Spark local模式安装与Spark Standalone集群
erainm
10-01 939
 Spark 框架编写的应用程序可以运行在本地模式(Local Mode)、集群模式(Cluster Mode) 和云服务(Cloud)，方便开发测试和生产部署。 概述 本地模式:Local Mode 将Spark 应用程序中任务Task运行在一个本地JVM Process进程中，通常开发测试使用。 本地模式LocalMode运行:启动一个JVM进程，里面运行Task任务，Task任务并行运行数目依据分 配CPU Core核数，在Spark应用中，一个Task任务运行，需要1Core CPU。 1)
Spark的资源管理和调度模式
CatherineHuangTT的博客
11-23 3944
1.Spark-standalone Standalone的模式下，spark的资源管理和调度是自己来管理和调度的，主要由master来管理。 2.Spark-yarn ResourceManager NodeManager ApplicationMaster Container(资源) Task   Hadoop集群上面 Yarn执行任务的流程： Client提交任务给res
spark安装和集群单机模式
u013046444的专栏
10-20 1119
我安装吃了很大的亏，首先应该先去看人家官方介绍，就算看不太懂，也可以慢慢看 1、单机安装 只需要 JDK 然后去官网下载压缩包，不区分window和linux。解压后就安装完成了(可以了，然后配置下环境变量。验证可以执行%SPARK_HOME%/bin下面的spark-shell脚本，会出现scala的命令行，表明安装成功。 如果需要配合python，则需要安装python，配合R使用，需先
spark三种操作模式的不同点分析
weixin_59544199的博客
03-08 493
spark三种操作模式的不同点分析
Spark的运行模式(1)--Local和Standalone
weixin_34235135的博客
05-15 181
Spark一共有5种运行模式：Local，Standalone，Yarn-Cluster，Yarn-Client和Mesos。 1. Local Local模式即单机模式，如果在命令语句中不加任何配置，则默认是Local模式，在本地运行。这也是部署、设置最简单的一种模式 2. Standalone Standalone是Spark自身实现的资源调度框架。如果我们只使用Spark进行大数据计...
spark 不同模式用途_Spark多种运行模式
weixin_31085635的博客
12-23 223
1，测试或实验性质的本地运行模式 (单机)该模式被称为Local[N]模式，是用单机的多个线程来模拟Spark分布式计算，通常用来验证开发出来的应用程序逻辑上有没有问题。其中N代表可以使用N个线程，每个线程拥有一个core。如果不指定N，则默认是1个线程(该线程有1个core)。如果是local[*]，则代表 Run Spark locally with as many worker thread...
spark三种模式【Standalone 模式、yarn 运行模式、local(本机)】
lyq7269的博客
08-07 8680
Standalone 模式 standalone模式也叫作独立模式，自带完整的服务，可单独部署到一个集群中，无序依赖任何其他资源管理系统。 从一定程度上来说，该模式是其他两种模式的基础。借鉴Spark开发模式，我们可以得到一种开发新型计算框架的一般思路：先设计出它的standalone模式，为了快速开发，期初不需要考虑服务（比如master、slaves）的容错性，之后开发相应的wrapper，将standalone模式下的服务原封不动的部署到资源管理系统yarn或者mesos上，有资源管理系统负责服务本身
(超详细) Spark环境搭建（Local模式、 StandAlone模式、Spark On Yarn模式）
热门推荐
JunLeon的博客
03-21 3万+
Spark环境搭建 JunLeon——go big or go home 目录 Spark环境搭建 一、环境准备 1、软件准备 2、Hadoop集群搭建 3、Anaconda环境搭建 二、Spark Local模式搭建 1、Spark下载、上传和解压 2、配置环境变量 3、配置Spark配置文件 4、测试 5、补充：spark-shell、spark-submit 三、Spark Standone模式搭建 1、Hadoop集群与Spark集群节点规划 2、三台虚拟机分别安
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值