Spark运行环境及不同部署模式：Local模式和Standalone模式

最新推荐文章于 2023-09-22 17:14:42 发布
最新推荐文章于 2023-09-22 17:14:42 发布
阅读量1.4k 收藏 1
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a772304419/article/details/116518232
版权

title: Spark运行环境及不同部署模式:Local模式和Standalone模式
date: 2021-05-07 16:16:02
tags:

  • Spark

Spark 作为一个数据处理框架和计算引擎，被设计在所有常见的集群环境中运行, 在国内工作中主流的环境为 Yarn，不过逐渐容器式环境也慢慢流行起来。接下来，我们就分别看看不同环境下 Spark 的运行。

Local模式

想啥呢，你之前一直在使用的模式可不是 Local 模式哟。所谓的 Local 模式，就是不需要其他任何节点资源就可以在本地执行 Spark 代码的环境，一般用于教学，调试，演示等，之前在 IDEA 中运行代码的环境我们称之为开发环境，不太一样。

解压缩文件

将 spark-3.0.0-bin-hadoop3.2.tgz 文件上传到 Linux 并解压缩，放置在指定位置，路径中不要包含中文或空格，课件后续如果涉及到解压缩操作，不再强调。

tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module
cd /opt/module
mv spark-3.0.0-bin-hadoop3.2 spark-local

启动 Local 环境

  1. 进入解压缩后的路径，执行如下指令
bin/spark-shell

image-20210507164009750

  1. 启动成功后，可以输入网址进行 Web UI 监控页面访问
http://虚拟机地址:4040

image-20210507164200888

命令行工具

在解压缩文件夹下的 data 目录中，添加 word.txt 文件。在命令行工具中执行如下代码指令（和 IDEA 中代码简化版一致）

sc.textFile("data/word.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect

image-20210507164344293

退出本地模式

按键 Ctrl+C 或输入 Scala 指令

:quit

提交应用

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[2] \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10
  1. –class 表示要执行程序的主类，此处可以更换为咱们自己写的应用程序
  2. –master local[2] 部署模式，默认为本地模式，数字表示分配的虚拟 CPU 核数量
  3. spark-examples_2.12-3.0.0.jar 运行的应用类所在的 jar 包，实际使用时，可以设定为咱们自己打的 jar 包
  4. 数字 10 表示程序的入口参数，用于设定当前应用的任务数量

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QreFb0ox-1620438319743)(https://raw.githubusercontent.com/a772304419/TyporaPicGo/master/image-20210507164729366.png)]

Standalone模式

local 本地模式毕竟只是用来进行练习演示的，真实工作中还是要将应用提交到对应的集群中去执行，这里我们来看看只使用 Spark 自身节点运行的集群模式，也就是我们所谓的独立部署（Standalone）模式。Spark 的 Standalone 模式体现了经典的 master-slave 模式。
集群规划:

image-20210507164859073

解压缩文件

将 spark-3.0.0-bin-hadoop3.2.tgz 文件上传到 Linux 并解压缩在指定位置

tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module
cd /opt/module
mv spark-3.0.0-bin-hadoop3.2 spark-standalone

修改配置文件

  1. 进入解压缩后路径的 conf 目录，修改 slaves.template 文件名为 slaves

  2. 修改 slaves 文件，添加 work 节点
    linux1 linux2 linux3

  3. 修改 spark-env.sh.template 文件名为 spark-env.sh
    mv spark-env.sh.template spark-env.sh

  4. 修改 spark-env.sh 文件，添加 JAVA_HOME 环境变量和集群对应的 master 节点
    export JAVA_HOME=/opt/module/jdk1.8.0_144 SPARK_MASTER_HOST=linux1 SPARK_MASTER_PORT=7077
    注意：7077 端口，相当于 hadoop3 内部通信的 8020 端口，此处的端口需要确认自己的 Hadoop配置

  5. 分发 spark-standalone 目录

xsync spark-standalone
mv slaves.template slaves

启动集群

  1. 执行脚本命令：
    sbin/start-all.sh

image-20210507165636994

  1. 查看三台服务器运行进程
    ================linux1================ 3330 Jps 3238 Worker 3163 Master ================linux2================ 2966 Jps 2908 Worker ================linux3================ 2978 Worker 3036 Jps
  2. 查看 Master 资源监控 Web UI 界面: http://linux1:8080

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PczTU9jY-1620438319748)(https://raw.githubusercontent.com/a772304419/TyporaPicGo/master/image-20210507165830360.png)]

提交应用

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://linux1:7077 \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10
  1. –class 表示要执行程序的主类
  2. –master spark://linux1:7077 独立部署模式，连接到 Spark 集群
  3. spark-examples_2.12-3.0.0.jar 运行类所在的 jar 包
  4. 数字 10 表示程序的入口参数，用于设定当前应用的任务数量

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EOHSQjF2-1620438319749)(https://raw.githubusercontent.com/a772304419/TyporaPicGo/master/image-20210507165920415.png)]

执行任务时，会产生多个 Java 进程

image-20210507165942443

执行任务时，默认采用服务器集群节点的总核数，每个节点内存 1024M。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XmgUGFbM-1620438319753)(https://raw.githubusercontent.com/a772304419/TyporaPicGo/master/image-20210507170007155.png)]

提交参数说明

在提交应用中，一般会同时一些提交参数

bin/spark-submit \
--class <main-class>
--master <master-url> \
... # other options
<application-jar> \
[application-arguments]
参数解释可选值举例
–classSpark 程序中包含主函数的类
–masterSpark 程序运行的模式(环境)模式：local[*]、spark://linux1:7077、Yarn
–executor-memory 1G指定每个 executor 可用内存为 1G符合集群内存配置即可，具体情况具体分析。
–total-executor-cores 2指定所有executor使用的cpu核数为 2 个
–executor-cores指定每个executor使用的cpu核数
application-jar打包好的应用 jar，包含依赖。这个 URL 在集群中全局可见。 比如 hdfs:// 共享存储系统，如果是file:// path，那么所有的节点的path 都包含同样的 jar
application-arguments传给 main()方法的参数

配置历史服务

由于 spark-shell 停止掉后，集群监控 linux1:4040 页面就看不到历史任务的运行情况，所以开发时都配置历史服务器记录任务运行情况。

  1. 修改 spark-defaults.conf.template 文件名为 spark-defaults.conf
    mv spark-defaults.conf.template spark-defaults.conf
  2. 修改 spark-default.conf 文件，配置日志存储路径
    spark.eventLog.enabled true
    spark.eventLog.dir hdfs://linux1:8020/directory
    注意：需要启动 hadoop 集群，HDFS 上的 directory 目录需要提前存在。
    sbin/start-dfs.sh
    hadoop fs -mkdir /directory
  3. 修改 spark-env.sh 文件, 添加日志配置
    export SPARK_HISTORY_OPTS=" -Dspark.history.ui.port=18080 -Dspark.history.fs.logDirectory=hdfs://linux1:8020/directory -Dspark.history.retainedApplications=30"
    ⚫ 参数 1 含义：WEB UI 访问的端口号为 18080
    ⚫ 参数 2 含义：指定历史服务器日志存储路径
    ⚫ 参数 3 含义：指定保存 Application 历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。
  4. 分发配置文件
    xsync conf
  5. 重新启动集群和历史服务
    sbin/start-all.sh sbin/start-history-server.sh
  6. 重新执行任务
    bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master spark://linux1:7077 \ ./examples/jars/spark-examples_2.12-3.0.0.jar \ 10

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QMGWgN5C-1620438319754)(https://raw.githubusercontent.com/a772304419/TyporaPicGo/master/image-20210507171723554.png)]

  1. 查看历史服务：http://linux1:18080

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7yirgwDE-1620438319757)(https://raw.githubusercontent.com/a772304419/TyporaPicGo/master/image-20210507171937774.png)]

配置高可用（HA ）

所谓的高可用是因为当前集群中的 Master 节点只有一个，所以会存在单点故障问题。所以为了解决单点故障问题，需要在集群中配置多个 Master 节点，一旦处于活动状态的 Master发生故障时，由备用 Master 提供服务，保证作业可以继续执行。这里的高可用一般采用Zookeeper 设置.

集群规划:

image-20210507172122556

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mN4A2dBn-1620438319759)(https://raw.githubusercontent.com/a772304419/TyporaPicGo/master/image-20210507172306974.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-eCcNJogB-1620438319761)(https://raw.githubusercontent.com/a772304419/TyporaPicGo/master/image-20210507172327584.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-MMnEryfo-1620438319762)(https://raw.githubusercontent.com/a772304419/TyporaPicGo/master/image-20210507172351209.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1zlhKJuG-1620438319764)(https://raw.githubusercontent.com/a772304419/TyporaPicGo/master/image-20210507172413137.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AZhgylHv-1620438319765)(https://raw.githubusercontent.com/a772304419/TyporaPicGo/master/image-20210507172432559.png)]

学亮编程手记
关注
专栏目录
spark(2) -- spark运行模式及Spark local模式安装与Spark Standalone集群
erainm
10-01 919
 Spark 框架编写的应用程序可以运行在本地模式(Local Mode)、集群模式(Cluster Mode) 和云服务(Cloud)，方便开发测试和生产部署。 概述 本地模式:Local Mode 将Spark 应用程序中任务Task运行在一个本地JVM Process进程中，通常开发测试使用。 本地模式LocalMode运行:启动一个JVM进程，里面运行Task任务，Task任务并行运行数目依据分 配CPU Core核数，在Spark应用中，一个Task任务运行，需要1Core CPU。 1)
Spark集群环境搭建（standalone模式）
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-01 4673
大数据实验教学系统Spark集群环境搭建（standalone模式）spark有以下几种运行模式，每种运行模式都有自己不同的优点和长处。安装和配置Spark环境（standalone模式）   掌握Spark集群的启动和关闭。1、在master主节点上安装和配置Spark环境   2、将配置好的Spark文件夹拷贝到三个worker节点上   3、掌握Spark集群的启动和关闭   4、测试Spark集群安装是否成功。硬件：x86_64 ubuntu 16.04服务器   软件：JDK1.8，Spark-2
Spark安装部署（local和standalone模式）
weixin_34318956的博客
05-22 185
Spark运行的4中模式： Local Standalone Yarn Mesos 一、安装spark前期准备 1、安装java $ sudo tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/service/ export JAVA_HOME=/opt/service/jdk1.7.0_67 export P...
Spark local模式和stand alone（HA）模式原理
phthon1997的博客
05-09 523
1.SPARK的local模式原理 local[4]的角色图，两个程序可以运行 运行spark local[*]模式 也可以向spark中提交已经写好的python程序，spark- submit local模式总结 2.SPARK的standalone原理 spark的standalone环境配置，主要是spark-env.sh，在worker文件里面指定workers，配置好之后要分发到其他节点上，3台服务器，一台是master和worker，另外两台均为worker。 运行sbin/
Spark部署模式（一）——Local模式
攻城狮Kevin
01-24 7885
目录 1. 官方求PI案例（直接运行已打成依赖jar包中的指定class） 2. 编写scala语言实现功能 3. 整个Spark运算的流程： 4. Spark中的Driver和Executor 5. 总结Spark中各种组成部分的关系 Local模式就是Spark运行在单节点的模式，通常用于在本机上练手和测试，分为以下三种情况： （1）local：所有计算都运行在一个线程中； （...
Flink的部署模式：Local模式、Standalone模式、Flink On Yarn模式
最新发布
积跬步，至千里。
09-22 3706
Local模式、Standalone模式和FlinkonYARN模式是Flink的三种常见部署模式。
理解Spark运行模式：Local模式、Standalone模式和Cluster模式的使用和区别
Apache Spark 是一个快速、通用、可扩展的分布式计算系统，提供了丰富的高级API（如Scala、Java、Python和R），以及用于构建大型应用程序的工具。Spark的核心是基于弹性分布式数据集（RDD）抽象的计算模型，它支持...
大数据技术之Spark ——（一）Spark运行模式（local+standalone+yarn）
m0_46615073的博客
08-25 1063
文章目录 前言 一、Spark运行环境 1.1、spark运行环境概述 1.2、local模式 1.2.1、上传spark压缩文件并解压 1.2.2、启动local环境 1.2.3、命令行工具 (wordcount小测试) 1.2.4、提交应用 1.3、Standalone（独立部署模式） 1.3.1、解压缩文件 1.3.2、修改配置文件 1.3.3、启动集群 1.3.4、配置历史服务器 1.4、yarn模式 1.4.2、修改配置文件 1.4.3、启动HDFS和YARN 1
springboot整合spark连接远程服务计算框架使用standAlone模式
08-15
可以通过Docker或者Kubernetes等容器化技术，将Spring Boot应用和Spark集群部署在同一网络环境中，以便于通信。 总结起来，Spring Boot与Spark的整合主要涉及引入依赖、配置Spark环境、创建计算逻辑和服务调用。在...
Spark运行模式 Local、Standalone、Yarn
Faded1573606285的博客
11-03 701
1 Spark安装地址 1．官网地址 http://spark.apache.org/ 2．文档查看地址 https://spark.apache.org/docs/2.1.1/ 3．下载地址 https://spark.apache.org/downloads.html 2 重要角色 2.1 Driver（驱动器） Spark的驱动器是执行开发程序中的main方法的进程。...
Spark的运行模式(1)--Local和Standalone
weixin_34235135的博客
05-15 179
Spark一共有5种运行模式：Local，Standalone，Yarn-Cluster，Yarn-Client和Mesos。 1. Local Local模式即单机模式，如果在命令语句中不加任何配置，则默认是Local模式，在本地运行。这也是部署、设置最简单的一种模式 2. Standalone Standalone是Spark自身实现的资源调度框架。如果我们只使用Spark进行大数据计...
Spark的部署模式
卡卡的博客
12-14 392
Spark运行模式分为两种：本地模式和集群模式。同时也简单介绍了Driver和Executor作用
十二、Spark的安装与部署详情（Local模式，Standalone模式，Spank on YARN模式）
07-22 2231
Spark环境搭建 Spark的部署方式 目前Spark支持4种部署方式，分别是Local、Standalone、Spark on Mesos和 Spark on YARN。Local模式是单机模式。Standalone模式即独立模式，自带完整的服务，可单独部署到一个集群中，无需依赖任何其他资源管理系统。Spark On Mesos模式是官方推荐的模式。Spark运行在Mesos上会比运行在YARN上更加灵活。Spark On YARN模式是一种很有前景的部署模式。在应用中通常需要根据实...
Spark——需要HADOOP来运行SPARK吗？
hys__handsome的博客
05-27 3728
前言 Spark，是分布式计算平台，是一个用scala语言编写的计算框架，基于内存的快速、通用、可扩展的大数据分析引擎。 Hadoop，是分布式管理、存储、计算的生态系统；包括HDFS（存储）、MapReduce（计算）、Yarn（资源调度）。 Hadoop和Apache Spark都是当今蓬勃发展的开源大数据框架。尽管Hadoop和Spark并没有做同样的事情，但是它们是相互关联的。大数据处理无处不在Hadoop的需求。 但是，尽管Hadoop具有许多重要的功能和数据处理优势，但它仍存在一个主..
124、Spark核心编程进阶之local模式提交spark作业
ZJ__ZFH的博客
01-16 1614
spark作业运行集群，有两种部署方式，一种是Spark Standalone集群，还有一种是YARN集群+Spark客户端 所以，我们认为，提交spark作业的两种主要方式，就是Spark Standalone和YARN，这两种方式，分别还分为两种模式，分别是client mode和cluster mode 在介绍standalone提交模式之前，先介绍一种Spark中最基本的一种提交模式 也就...
(超详细) Spark环境搭建（Local模式、 StandAlone模式、Spark On Yarn模式）
热门推荐
JunLeon的博客
03-21 3万+
Spark环境搭建 JunLeon——go big or go home 目录 Spark环境搭建 一、环境准备 1、软件准备 2、Hadoop集群搭建 3、Anaconda环境搭建 二、Spark Local模式搭建 1、Spark下载、上传和解压 2、配置环境变量 3、配置Spark配置文件 4、测试 5、补充：spark-shell、spark-submit 三、Spark Standone模式搭建 1、Hadoop集群与Spark集群节点规划 2、三台虚拟机分别安
spark三种模式【Standalone 模式、yarn 运行模式、local(本机)】
lyq7269的博客
08-07 8616
Standalone 模式 standalone模式也叫作独立模式，自带完整的服务，可单独部署到一个集群中，无序依赖任何其他资源管理系统。 从一定程度上来说，该模式是其他两种模式的基础。借鉴Spark开发模式，我们可以得到一种开发新型计算框架的一般思路：先设计出它的standalone模式，为了快速开发，期初不需要考虑服务（比如master、slaves）的容错性，之后开发相应的wrapper，将standalone模式下的服务原封不动的部署到资源管理系统yarn或者mesos上，有资源管理系统负责服务本身
spark的常用参数配置（local、yarn）
xfysq_的博客
03-08 757
spark的常用参数配置（local、yarn）
流批一体计算引擎-3-[Flink]的本地模式Local和standalone模式
qq_20466211的博客
07-22 1586
flink的安装
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

学亮编程手记

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值