Spark系列-3、Spark的部署方式之Standalone模式

最新推荐文章于 2024-05-21 21:41:07 发布
最新推荐文章于 2024-05-21 21:41:07 发布
阅读量1k 收藏 3
点赞数 1
分类专栏： 大数据专栏 文章标签： spark big data hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/l848168/article/details/125004548
版权

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

大数据系列文章目录

官方网址：http://spark.apache.org/、https://databricks.com/spark/about
在这里插入图片描述

目录

介绍

Spark的部署方式目前有，local本地模式、standalone模式、spark on yarn模式、spark on mesos模式。

  • 本地模式
    Spark单机运行，一般用于开发测试。
  • Standalone模式
    构建一个由Master+Slave构成的Spark集群，Spark运行在集群中。
  • Spark on Yarn模式
    Spark客户端直接连接Yarn。不需要额外构建Spark集群。
  • Spark on Mesos模式
    Spark客户端直接连接Mesos。不需要额外构建Spark集群。

Standalone适合小规模集群。
如果同时运行hadoop和Spark，从兼容性上考虑，Yarn是更好的选择。
如果你不仅运行了hadoop，spark，还运行了docker，Mesos是更好的选择。

本篇文章介绍Standalone模式

Spark Standalone集群

Standalone模式是Spark自带的一种集群模式，不同于前面本地模式启动多个进程来模拟集群的环境，Standalone模式是真实地在多个机器之间搭建Spark集群的环境，完全可以利用该模式搭建多机器集群，用于实际的大数据处理

Standalone 架 构

Standalone集群使用了分布式计算中的master-slave模型，master是集群中含有Master进程的节点，slave是集群中的Worker节点含有Executor进程。
在这里插入图片描述
Spark Standalone集群，类似Hadoop YARN，管理集群资源和调度资源：

  1. 主节点Master：类似ResourceManager

管理整个集群资源，接收提交应用，分配资源给每个应用，运行Task任务

  1. 从节点Workers：类似NodeManager

管理每个机器的资源，分配对应的资源来运行Task；
每个从节点分配资源信息给Worker管理，资源信息包含内存Memory和CPU Cores核数

  1. 历史服务器HistoryServer：类似MRJobHistoryServer

Spark Application运行完成以后，保存事件日志数据至HDFS，启动HistoryServer可以查看应用运行相关信息

在这里插入图片描述

配置、部署及启动

Standalone集群安装服务规划与资源配置：
在这里插入图片描述
官方文档：http://spark.apache.org/docs/2.4.5/spark-standalone.html
从 Workers主机名称 ~ 分发到集群所有机器 统一在node1上进行

解压、环境变量

解压Spark编译安装包至【/export/server/】目录下，进入【conf】目录，配置环境变量。

## 解压软件包
tar -zxf /export/software/spark-2.4.5-bin-cdh5.16.2-2.11.tgz -C /export/server/

## 创建软连接，方便后期升级
ln -s /export/server/spark-2.4.5-bin-cdh5.16.2-2.11 /export/server/spark

## 进入配置目录
cd /export/server/spark/conf

## 修改配置文件名称
mv spark-env.sh.template spark-env.sh vim spark-env.sh
## 添加内容如下：
JAVA_HOME=/export/server/jdk SCALA_HOME=/export/server/scala HADOOP_CONF_DIR=/export/server/hadoop/etc/hadoop

Workers主机名称

将【$SPARK_HOME/conf/slaves.template】名称命名为【slaves】，填写从节点名称。

## 进入配置目录
cd /export/server/spark/conf

## 修改配置文件名称
mv slaves.template slaves vim slaves
## 内容如下：
node1.cn 
node2.cn 
node3.cn

配置Master、Workers、HistoryServer

在配置文件【$SPARK_HOME/conf/spark-env.sh】添加如下内容：


SPARK_MASTER_HOST=node1.cn 
SPARK_MASTER_PORT=7077 
SPARK_MASTER_WEBUI_PORT=8080 
SPARK_WORKER_CORES=1 
SPARK_WORKER_MEMORY=1g 
SPARK_WORKER_PORT=7078 
SPARK_WORKER_WEBUI_PORT=8081
SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://node1.cn:8020/spark/eventLogs/
-Dspark.history.fs.cleaner.enabled=true"

创建EventLogs存储目录

启动HDFS服务，创建应用运行事件日志目录，命令如下：

hadoop-daemon.sh start namenode 
hadoop-daemons.sh start datanode 
hdfs dfs -mkdir -p /spark/eventLogs/

配置Spark应用保存EventLogs

将【$SPARK_HOME/conf/spark-defaults.conf.template】名称命名为【park-defaults.confs】， 填写如下内容：

## 进入配置目录
cd /export/server/spark/conf

## 修改配置文件名称
mv spark-defaults.conf.template spark-defaults.conf vim spark-defaults.conf
## 添加内容如下：
spark.eventLog.enabled true

spark.eventLog.dir hdfs://node1.cn:8020/spark/eventLogs/ spark.eventLog.compress true

设置日志级别

将【$SPARK_HOME/conf/log4j.properties.template】名称命名为【log4j.properties】，修改级别为警告WARN。

## 进入目录
cd /export/server/spark/conf

## 修改日志属性配置文件名称
mv log4j.properties.template log4j.properties

## 改变日志级别
vim log4j.properties

在这里插入图片描述

分发到集群所有机器

将配置好的将 Spark 安装包分发给集群中其它机器，命令如下：

cd /export/server/

scp -r spark-2.4.5-bin-cdh5.16.2-2.11 root@node2.cn:$PWD 
scp -r spark-2.4.5-bin-cdh5.16.2-2.11 root@ node3.cn:$PWD
## 远程连接到node2.itcast.cn和node3.itcast.cn机器，创建软连接
ln -s /export/server/spark-2.4.5-bin-cdh5.16.2-2.11 /export/server/spark

启动服务进程

在Master节点node1.cn上启动，进入$SPARK_HOME，必须配置主节点到所有从节点的SSH无密钥登录，集群各个机器时间同步。

主节点Master启动命令

/export/server/spark/sbin/start-master.sh

WEB UI页面地址：http://node1.cn:8080
在这里插入图片描述
从节点Workers启动命令：

/export/server/spark/sbin/start-slaves.sh

查看Master主节点WEB UI界面：
在这里插入图片描述
可以看出，配置了3个Worker进程实例，每个Worker实例为1核1GB内存，总共是3核 3GB 内存。目前显示的Worker资源都是空闲的，当向Spark集群提交应用之后，Spark就会分配相应的资源给程序使用，可以在该页面看到资源的使用情况。

历史服务器HistoryServer：

/export/server/spark/sbin/start-history-server.sh

WEB UI页面地址：http://node1.cn:18080
在这里插入图片描述

提交运行圆周率

将上述运行在Local Mode的圆周率PI程序，运行在Standalone集群上，修改【–master】地址为Standalone集群地址：spark://node1.cn:7077，具体命令如下：


SPARK_HOME=/export/server/spark

${SPARK_HOME}/bin/spark-submit \

--master spark://node1.cn:7077 \

--class org.apache.spark.examples.SparkPi \

${SPARK_HOME}/examples/jars/spark-examples_2.11-2.4.5.jar \ 10

查看Master主节点WEB UI界面：
在这里插入图片描述

Spark 应用架构

登录到Spark HistoryServer历史服务器WEB UI界面，点击刚刚运行圆周率PI程序：
在这里插入图片描述
查看应用运行状况：
在这里插入图片描述
切换到【Executors】Tab页面：
在这里插入图片描述
从图中可以看到Spark Application运行到集群上时，由两部分组成：Driver Program和Executors。

第一、Driver Program

1、相当于AppMaster，整个应用管理者，负责应用中所有Job的调度执行;
2、运行JVM Process，运行程序的MAIN函数，必须创建SparkContext上下文对象；
3、一个SparkApplication仅有一个；

第二、Executors

1、相当于一个线程池，运行JVM Process，其中有很多线程，每个线程运行一个Task任务， 一个Task运行需要1 Core CPU，所有可以认为Executor中线程数就等于CPU Core核数；
2、一个Spark Application可以有多个，可以设置个数和资源信息；

在这里插入图片描述

  • Driver Program是用户编写的数据处理逻辑，这个逻辑中包含用户创建的SparkContext。SparkContext 是用户逻辑与Spark集群主要的交互接口，它会和Cluster Manager交互，包括向它申请计算资源等。

  • Cluster Manager负责集群的资源管理和调度，现在支持Standalone、Apache Mesos和Hadoop 的 YARN 。

  • Worker Node是集群中可以执行计算任务的节点。 Executor是在一个Worker Node上为某应用启动的一个进程，该进程负责运行任务，并且负责将数据存在内存或者磁盘上。

  • Task 是被送到某个Executor上的计算单元，每个应用都有各自独立的 Executor，计算最终在计算节点的 Executor中执行

WEB UI 监 控

Spark 提供了多个监控界面，当运行Spark任务后可以直接在网页对各种信息进行监控查看。运行spark-shell交互式命令在Standalone集群上，命令如下：

/export/server/spark/bin/spark-shell --master spark://node1.cn:7077

运行截图如下所示：
在这里插入图片描述

在node3.cn运行spark-shell，WEB UI监控页面地址：http://node3.cn:4040
在这里插入图片描述
在spark-shell中执行词频统计WordCount程序代码，运行如下：

val inputRDD = sc.textFile("/datas/wordcount.data")
val wordcountsRDD = inputRDD.flatMap(line => line.split("\\s+")).map(word => (word, 1)).reduceByKey((tmp, item) => tmp + item)
wordcountsRDD.take(5)

在这里插入图片描述
可以发现在一个Spark Application中，包含多个Job，每个Job有多个Stage组成，每个Job执行按照DAG图进行的。

在这里插入图片描述
其中每个Stage中包含多个Task任务，每个Task以线程Thread方式执行，需要1Core CPU。

在这里插入图片描述
可以看到Spark为应用程序提供了非常详尽的统计页面，每个应用的Job和Stage等信息都可以在这里查看到。通过观察应用详情页的各个信息，对进一步优化程序，调整瓶颈有着重要作用，后期综合项目案例详细讲解。

Spark Application程序运行时三个核心概念：Job、Stage、Task，说明如下：

  • Task：被分配到各个 Executor 的单位工作内容，它是 Spark 中的最小执行单位，一般来说有多少个 Paritition（物理层面的概念，即分支可以理解为将数据划分成不同部分并行处理），就会有多少个 Task，每个 Task 只会处理单一分支上的数据。
  • Job：由多个 Task 的并行计算部分，一般 Spark 中的 action 操作（如 save、collect，后面进一步说明），会生成一个 Job。
  • Stage：Job 的组成单位，一个 Job 会切分成多个 Stage，Stage 彼此之间相互依赖顺序执行， 而每个 Stage 是多个 Task 的集合，类似 map 和 reduce stage。

在这里插入图片描述

Standalone HA

Spark Standalone集群是Master-Slaves架构的集群模式，和大部分的Master-Slaves结构集群一样，存在着Master单点故障（SPOF）的问题。
在这里插入图片描述

高可用HA

如何解决这个单点故障的问题，Spark提供了两种方案

  • 基于文件系统的单点恢复(Single-Node Recovery with Local File System)；
  • 基于Zookeeper的Standby Masters(Standby Masters with ZooKeeper)；
    ZooKeeper提供了一个Leader Election机制，利用这个机制可以保证虽然集群存在多个Master，但是只有一个是Active的，其他的都是Standby。当Active的Master出现故障时，另外的一个Standby Master会被选举出来。由于集群的信息，包括Worker， Driver和Application的信息都已经持久化到文件系统，因此在切换的过程中只会影响新Job的提交，对于正在进行的Job没有任何的影响。加入ZooKeeper的集群整体架构如下图所示。

在这里插入图片描述

基于Zookeeper实现HA

官方文档：http://spark.apache.org/docs/2.4.5/spark-standalone.html#standby-masters-with-zookeeper
在这里插入图片描述
1）、停止Standalone集群

## 在node1.cn上执行命令
/export/server/spark/sbin/stop-master.sh

/export/server/spark/sbin/stop-slaves.sh

2）、增加Zookeeper配置

对Spark配置文件【$SPARK_HOME/conf/spark-env.sh】文件如下修改：

SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER
-Dspark.deploy.zookeeper.url=node1.cn:2181,node2.cn:2181,node3.cn:2181
-Dspark.deploy.zookeeper.dir=/spark-ha"

参数含义说明：

spark.deploy.recoveryMode：恢复模式
spark.deploy.zookeeper.url：ZooKeeper的Server地址
spark.deploy.zookeeper.dir：保存集群元数据信息的文件、目录。包括Worker、Driver、Application信息。

注释或删除MASTER_HOST内容

# SPARK_MASTER_HOST=node1.cn

3）、将spark-env.sh分发集群

cd /export/server/spark/conf

scp -r spark-env.sh root@node2.cn:$PWD 
scp -r spark-env.sh root@node3.cn:$PWD

4）、启动集群服务
先启动Zookeeper集群，再分别启动2个Master服务，最后启动Worker服务

## 启动ZOOKEEPER服务
zookeeper-daemons.sh start

## 在node1和node2分别启动Master服务
/export/server/spark/sbin/start-master.sh

## 查看哪个Master为Active，就在哪个Master机器上启动Workers服务
/export/server/spark/sbin/start-slaves.sh

默认情况下，先启动Master就为Active Master，如下截图所示：
在这里插入图片描述

测试运行

Standalone HA集群运行应用时，指定ClusterManager参数属性为

--master spark://host1:port1,host2:port2

提交圆周率PI运行集群，命令如下：

SPARK_HOME=/export/server/spark

${SPARK_HOME}/bin/spark-submit \

--master spark://node1.cn:7077,node2.cn:7077 \

--class org.apache.spark.examples.SparkPi \

${SPARK_HOME}/examples/jars/spark-examples_2.11-2.4.5.jar \ 100

在执行过程中，使用jps查看Active Master进程ID，将其kill，观察Master是否自动切换与应用运行完成结束。
在这里插入图片描述

结束

本篇文章详细介绍了Standalone模式如何部署Spark应用程序，下篇文章介绍如何使用IDEA应用开发Spark应用程序。

技术武器库
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Spark集群环境搭建（standalone模式）
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-01 4563
大数据实验教学系统Spark集群环境搭建（standalone模式）spark有以下几种运行模式，每种运行模式都有自己不同的优点和长处。安装和配置Spark环境（standalone模式）   掌握Spark集群的启动和关闭。1、在master主节点上安装和配置Spark环境   2、将配置好的Spark文件夹拷贝到三个worker节点上   3、掌握Spark集群的启动和关闭   4、测试Spark集群安装是否成功。硬件：x86_64 ubuntu 16.04服务器   软件：JDK1.8，Spark-2
spark之Standalone模式部署配置详解
08-29
Spark 之 Standalone 模式部署配置详解 Spark 是一个基于内存的集群计算引擎，它可以在多种模式下运行，包括本地模式、伪分布式模式、集群模式等。在这些模式中，Standalone 模式是 Spark 的自带模式，对于大多数...
五、standalone运行模式
weixin_34266504的博客
12-02 718
在上文中我们知道spark的集群主要有三种运行模式standalone、yarn、mesos，其中常被使用的是standalone和yarn，本文了解一下什么是standalone运行模式，它的运行流程是怎么样的。 简介 standalone模式，是spark自己实现的，它是一个资源调度框架。这里我们要关注这个框架的三个节点： 1）client 2）master 3）worker sp...
Spark StandAlone环境部署
Rain_2021245488的博客
08-09 339
在部署之前，需要明确集群的规划，即有多少台机子，每台机子上应该存放哪些进程。
Spark搭建 Standalone模式详细步骤
最新发布
weixin_52134189的博客
05-21 1559
Spark搭建 Standalone模式详细步骤
Spark环境搭建——standalone集群模式
01-07
这篇博客，Alice为大家带来的是Spark集群环境搭建之——standalone集群模式。 文章目录集群角色介绍集群规划修改配置并分发启动和停止查看web界面测试 集群角色介绍         Spark是基于内存计算的大数据并行计算框架，实际中运行计算任务肯定是使用集群模式，那么我们先来学习Spark自带的standalone集群模式了解一下它的架构及运行机制。         Standalone集群使用了分布式计算中的master-slave模型         master是集群中含有master进程的节点         slave是集群中的worker节点含有Executor
Spark Standalone 部署
记录点点滴滴
03-07 1041
为了解决单点故障问题，需要在集群中配置多个Master节点，一旦处于活动状态的 Master 发生故障时，由备用 Master 提供服务，保证作业可以继续执行。查看 cpucode102 的Master 资源监控 Web UI，稍等一段时间后，cpucode102 节点的 Master 状态。7077端口，相当于 Hadoop3 内部通信的 8020 端口，此处的端口需要确认自己的 Hadoop 配置。执行任务时，默认采用服务器集群节点的总核数，每个节点内存 1024M。确保 Zookeeper 关闭。
Spark Standalone架构及安装部署
小叮当的博客
11-04 1872
Spark Standalone部署
搭建环境05：部署Spark-Standalone模式
m0_37559973的博客
10-03 808
部署Spark-Standalone模式
Spark实验：Standalone模式安装部署（带答案）1
08-03
【Spark Standalone模式安装部署详解】 Spark是一款快速、通用且可扩展的大数据处理框架，它提供了高效的批处理、交互式查询、流处理等多种计算模式。在Standalone模式下，Spark可以独立于任何分布式资源管理系统...
springboot整合spark连接远程服务计算框架使用standAlone模式
08-15
当需要在Spring Boot应用中整合Spark进行远程服务计算时，通常会采用Spark的Standalone模式。本文将深入探讨如何将Spring Boot与Spark集成，并使用Standalone模式来实现远程服务计算。 首先，我们需要了解Spark ...
Spark的安装（Standalone模式，高可用模式，基于Yarn模式）
01-20
目录 spark的Standalone模式安装  一、安装流程 1、将spark-2.2.0-bin-hadoop2.7.tgz  上传到 /usr/local/spark/ 下，然后解压 2、进入到conf中修改名字 改为  .sh 结尾的 3、编辑 spark-env.sh 4、修改slaves 的名字  并且编辑他 5、发送到其他两台虚拟机上 6、修改ect/proflie下面的配置环境 7、到spark的sbin目录下 修改启动命令 8、启动之后的jps数目 二、检测是否安装成功 1、进谷歌浏览器看看（端口号是8080 和tomcat端口号是一样的，注意后期一块启动的冲突问题） 2、按
spark-3.2.1 安装包 下载 hadoop3.2
04-03
在分布式部署模式下，Spark支持多种部署选项，包括Standalone、Mesos、YARN和Kubernetes。你可以根据实际的集群环境选择合适的部署方式。对于大规模生产环境，通常会选择YARN或Kubernetes，因为它们提供了更好的资源...
spark-2.3.0-bin-hadoop2.7版本.zip
03-25
3. **多模式支持**：Spark支持多种工作模式，包括本地模式、Standalone集群模式、YARN模式（与Hadoop2.7集成）以及Mesos模式，适应不同的部署环境。 4. **组件丰富**：Spark包含多个模块，如Spark Core、Spark SQL...
Spark standalone模式部署
zhongmingyu
03-23 415
local 本地模式毕竟只是用来进行练习演示的，真实工作中还是要将应用提交到对应的集群中去执行，这里我们来看看只使用 Spark 自身节点运行的集群模式，也就是我们所谓的独立部署（Standalone）模式。Spark 的 Standalone 模式体现了经典的master-slave 模式。
Spark有几种部署方式？
zy1992As的博客
12-12 1602
Standalone模式被称为集群单机模式。Spark框架与Hadoop1.0版本框架类似，本身都自带了完整的资源调度管理服务，可以独立部署到一个集群中，无需依赖任何其他的资源管理系统，在该模式下，Spark集群架构为主从模式，即一台Master节点与多台Slave节点，Slave节点启动的进程名称为Worker，此时集群会存在单点故障问题，后续将在Spark HA集群部署小节讲解利用Zookeeper解决单点问题的方案。lYarn Cluster：用于生产环境，所有的资源调度和计算都在集群上运行。
Spark安装部署：Standalone模式
一顿吃不饱的博客
11-11 3922
Spark安装部署：Standalone模式 1、实验描述 以spark Standalone的运行模式安装Spark集群 实验时长： 45分钟 主要步骤： 解压安装Spark 添加Spark 配置文件 启动Spark 集群 运行测试用例 2、实验环境 虚拟机数量：3(一主两从，主机名分别为：master、slave01、slave02) 系统版本：Centos 7.5 Hadoop版本：Apache Hadoop 2.7.3 Spark版本：Apache Spark 2.1.1 3、相
spark部署——Standalone模式
weixin_55047679的博客
08-06 242
spark部署三种方式简介以及Standalone模式部署
Spark Standalone 模式部署。
10-17
好的，关于 Spark Standalone 模式部署，你需要先下载 Spark 并解压缩。然后，你需要在 Spark 的 conf 目录下创建一个名为 spark-env.sh 的文件，并在其中设置一些环境变量，例如： ``` export SPARK_HOME=/path/to/spark export JAVA_HOME=/path/to/java export SPARK_MASTER_HOST=your_master_hostname export SPARK_MASTER_PORT=7077 ``` 其中，SPARK_HOME 和 JAVA_HOME 分别指向 Spark 和 Java 的安装路径，SPARK_MASTER_HOST 指定 Spark Master 的主机名或 IP 地址，SPARK_MASTER_PORT 指定 Spark Master 的端口号。 接下来，你需要启动 Spark Master 和 Spark Worker。在 Spark 的 sbin 目录下，有两个脚本可以用来启动它们： ``` ./start-master.sh ./start-worker.sh spark://your_master_hostname:7077 ``` 其中，start-master.sh 用于启动 Spark Master，start-worker.sh 用于启动 Spark Worker。在 start-worker.sh 中，spark://your_master_hostname:7077 指定了 Spark Master 的地址。 启动后，你可以通过访问 http://your_master_hostname:8080 来查看 Spark 集群的状态。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

技术武器库

一句真诚的谢谢，胜过千言万语

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值