Spark 集群搭建（完整）

最新推荐文章于 2024-04-24 21:21:47 发布
最新推荐文章于 2024-04-24 21:21:47 发布
阅读量2k 收藏 29
点赞数 4
分类专栏： 大数据 文章标签： spark 服务器 大数据

1. Spark 集群结构

在这里插入图片描述

名词解释
Driver

  • 该进程调用 Spark 程序的 main 方法, 并且启动 SparkContext。

Cluster Manager

  • 该进程负责和外部集群工具打交道, 申请或释放集群资源。

Worker

  • 该进程是一个守护进程, 负责启动和管理 Executor。

Executor

  • 该进程是一个JVM虚拟机, 负责运行 Spark Task。

运行一个 Spark 程序大致经历如下几个步骤：

  1. 启动 Drive, 创建 SparkContext；

  2. Client 提交程序给 Drive, Drive 向 Cluster Manager 申请集群资源；

  3. 资源申请完毕, 在 Worker 中启动 Executor；

  4. Driver 将程序转化为 Tasks, 分发给 Executor 执行。

问题一: Spark 程序可以运行在什么地方?

  • 集群: 一组协同工作的计算机, 通常表现的好像是一台计算机一样, 所运行的任务由软件来控制和调度；

  • 集群管理工具: 调度任务到集群的软件；

  • 常见的集群管理工具: Hadoop Yarn, Apache Mesos, Kubernetes。

Spark 可以将任务运行在两种模式下:

  • 单机, 使用线程模拟并行来运行程序；

  • 集群, 使用集群管理器来和不同类型的集群交互, 将任务运行在集群中。

Spark 可以使用的集群管理工具有:

  • Spark Standalone

  • Hadoop Yarn

  • Apache Mesos

  • Kubernetes

问题二: Driver 和 Worker 什么时候被启动?
在这里插入图片描述

  • Standalone 集群中, 分为两个角色: Master 和 Slave, 而 Slave 就是 Worker, 所以在 Standalone 集群中, 启动之初就会创建固定数量的 Worker。

  • Driver 的启动分为两种模式: Client 和 Cluster. 在 Client 模式下, Driver 运行在 Client 端, 在 Client 启动的时候被启动. 在 Cluster 模式下, Driver 运行在某个 Worker 中, 随着应用的提交而启动。

在这里插入图片描述

  • 在 Yarn 集群模式下, 也依然分为 Client 模式和 Cluster 模式, 较新的版本中已经逐渐在废弃 Client 模式了, 所以上图所示为 Cluster 模式。

  • 如果要在 Yarn 中运行 Spark 程序, 首先会和 RM 交互, 开启 ApplicationMaster, 其中运行了 Driver, Driver创建基础环境后, 会由 RM 提供对应的容器, 运行 Executor, Executor会反向向 Driver 反向注册自己, 并申请 Tasks 执行。

  • 在后续的 Spark 任务调度部分, 会更详细介绍。

总结

  • Master 负责总控, 调度, 管理和协调 Worker, 保留资源状况等；

  • Slave 对应 Worker 节点, 用于启动 Executor 执行 Tasks, 定期向 Master汇报；

  • Driver 运行在 Client 或者 Slave(Worker) 中, 默认运行在 Slave(Worker) 中。

2. Spark 集群搭建

在这里插入图片描述

2.1 下载和解压

注意： 此步骤假设大家的 Hadoop 集群已经能够无碍的运行, 并且 Linux 的防火墙和 SELinux 已经关闭, 时钟也已经同步, 如果还没有, 请参考 Hadoop 集群搭建部分, 完成以上三件事。

1. 下载

# 下载 Spark
cd /export/softwares
wget https://archive.apache.org/dist/spark/spark-2.2.0/spark-2.2.0-bin-hadoop2.7.tgz

2. 解压并拷贝到export/servers

# 解压 Spark 安装包
tar xzvf spark-2.2.0-bin-hadoop2.7.tgz

# 移动 Spark 安装包
mv spark-2.2.0-bin-hadoop2.7 /export/servers/spark

3.修改配置文件spark-env.sh, 以指定运行参数

进入配置目录, 并复制一份新的配置文件, 以供在此基础之上进行修改

cd /export/servers/spark/conf
cp spark-env.sh.template spark-env.sh
vi spark-env.sh

将以下内容复制进配置文件末尾

# 指定 Java Home
export JAVA_HOME=/export/servers/jdk1.8.0_221

# 指定 Spark Master 地址
export SPARK_MASTER_HOST=node01
export SPARK_MASTER_PORT=7077

2.2 配置

1. 修改配置文件 slaves, 以指定从节点为止, 从在使用 sbin/start-all.sh 启动集群的时候, 可以一键启动整个集群所有的 Worker

进入配置目录, 并复制一份新的配置文件, 以供在此基础之上进行修改

cd /export/servers/spark/conf
cp slaves.template slaves
vi slaves

配置所有从节点的地址

node02
node03
2.配置 HistoryServer

a.默认情况下, Spark 程序运行完毕后, 就无法再查看运行记录的 Web UI 了, 通过 HistoryServer 可以提供一个服务, 通过读取日志文件, 使得我们可以在程序运行结束后, 依然能够查看运行过程

b.复制 spark-defaults.conf, 以供修改

cd /export/servers/spark/conf
cp spark-defaults.conf.template spark-defaults.conf
vi spark-defaults.conf

c.将以下内容复制到spark-defaults.conf末尾处, 通过这段配置, 可以指定 Spark 将日志输入到 HDFS 中

spark.eventLog.enabled  true
spark.eventLog.dir      hdfs://node01:8020/spark_log
spark.eventLog.compress true

d.将以下内容复制到spark-env.sh的末尾, 配置 HistoryServer 启动参数, 使得 HistoryServer 在启动的时候读取 HDFS 中写入的 Spark 日志

# 指定 Spark History 运行参数
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=4000 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://node01:8020/spark_log"

e.为 Spark 创建 HDFS 中的日志目录

hdfs dfs -mkdir -p /spark_log

可能会出现错误：

[root@node01 hadoop-2.7.5]# hdfs dfs -mkdir -p /spark_log
mkdir: Cannot create directory /spark_log. Name node is in safe mode.

这是因为安全模式，不允许添加，关闭安全模式即可，操作如下，在hadoop目录下执行：

[root@node01 hadoop-2.7.5]# hadoop  dfsadmin -safemode leave
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.

Safe mode is OFF

2.3 分发和运行

1. 将 Spark 安装包分发给集群中其它机器

cd /export/servers
scp -r spark root@node02:$PWD
scp -r spark root@node03:$PWD

2.启动 Spark Master 和 Slaves, 以及 HistoryServer

cd /export/servers/spark
sbin/start-all.sh
sbin/start-history-server.sh

3. Spark 集群高可用搭建

如何使用 Zookeeper 帮助 Spark Standalone 高可用?
对于 Spark Standalone 集群来说, 当 Worker 调度出现问题的时候, 会自动的弹性容错, 将出错的 Task 调度到其它 Worker 执行。

但是对于 Master 来说, 是会出现单点失败的, 为了避免可能出现的单点失败问题, Spark 提供了两种方式满足高可用：

  • 使用 Zookeeper 实现 Masters 的主备切换

  • 使用文件系统做主备切换 (不经常用)

3.1 停止 Spark 集群

cd /export/servers/spark
sbin/stop-all.sh

3.2 修改配置文件, 增加 Spark 运行时参数, 从而指定 Zookeeper 的位置

1.进入 spark-env.sh 所在目录, 打开 vi 编辑

cd /export/servers/spark/conf
vi spark-env.sh

2.编辑 spark-env.sh, 添加 Spark 启动参数, 并去掉 SPARK_MASTER_HOST 地址

在这里插入图片描述

具体内容如下：

# 指定 Java Home
export JAVA_HOME=/export/servers/jdk1.8.0_221

# 指定 Spark Master 地址
# export SPARK_MASTER_HOST=node01
export SPARK_MASTER_PORT=7077

# 指定 Spark History 运行参数
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=4000 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://node01:8020/spark_log"

# 指定 Spark 运行时参数
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=node01:2181,node02:2181,node03:2181 -Dspark.deploy.zookeeper.dir=/spark"

3.3 分发配置文件到整个集群

cd /export/servers/spark/conf
scp spark-env.sh node02:$PWD
scp spark-env.sh node03:$PWD

3.4 启动

1.在 node01 上启动整个集群

cd /export/servers/spark
sbin/start-all.sh
sbin/start-history-server.sh

2.在 node02 上单独再启动一个 Master

cd /export/servers/spark
sbin/start-master.sh

3.5 查看 node01 master 和 node02 master 的 WebUI

1.你会发现一个是 ALIVE(主), 另外一个是 STANDBY(备)

在这里插入图片描述

2.如果关闭一个, 则另外一个成为ALIVE, 但是这个过程可能要持续两分钟左右, 需要耐心等待
# 在 Node01 中执行如下指令
cd /export/servers/spark/
sbin/stop-master.sh

在这里插入图片描述

Spark HA 选举：
Spark HA 的 Leader 选举使用了一个叫做 Curator 的 Zookeeper 客户端来进行。

Zookeeper 是一个分布式强一致性的协调服务, Zookeeper 最基本的一个保证是: 如果多个节点同时创建一个 ZNode, 只有一个能够成功创建. 这个做法的本质使用的是 Zookeeper 的 ZAB 协议, 能够在分布式环境下达成一致.

在这里插入图片描述

4. 第一个应用的运行

4.1 进入 Spark 安装目录中

cd /export/servers/spark/

4.2 运行 Spark 示例任务

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://node01:7077,node02:7077,node03:7077 \
--executor-memory 1G \
--total-executor-cores 2 \
/export/servers/spark/examples/jars/spark-examples_2.11-2.2.3.jar \
100

4.3 运行结果

Pi is roughly 3.141550671141551

刚才所运行的程序是 Spark 的一个示例程序, 使用 Spark 编写了一个以蒙特卡洛算法来计算圆周率的任务
在这里插入图片描述

计算过程

  1. 不断的生成随机的点, 根据点距离圆心是否超过半径来判断是否落入园内

  2. 通过 Spark01 cfb9a 来计算圆周率

  3. 不断的迭代

码学弟
关注
  • 4
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark集群及开发环境搭建（完整版）
04-09
Spark集群及开发环境搭建，适合初学者，一步一步并配有截图。 目录 一、 软件及下载 2 二、 集群环境信息 2 三、 机器安装 2 1. 安装虚拟机VirtualBox 2 2. 安装CentOs7 2 四、 基础环境搭建（hadoop用户下） 6 1. 机器名HostName 6 2. 关闭防火墙 6 3. 系统更新及常用工具安装 7 4. IP配置 8 5. JDK安装 8 五、 Hadoop安装及配置 9 1. 安装 9 2. 配置 10 六、 机器集群搭建 12 1. 复制机器 13 2. 设置静态IP 13 3. 设置机器名hostname 14 4. ssh免密登录 14 5. hadoop集群测试 16 七、 Spark & Scala 集群安装 18 1. scala安装 18 2. spark安装 19 3. 测试spark集群 20 八、 Scala开发 20 1、插件下载 20 2、插件安装 21 3、scala开发 22 4、程序执行 22
Spark集群安装部署
MJK祺的博客
05-18 1600
由于Spark仅仅是一种计算机框架，不负责数据的存储和管理，因此，通常都会将Spark和Hadoop进行统一部署，由Hadoop中的HDFS，HBase等组件负责数据的存储管理，Spark负责数据计算。本文章主要阐述在Standalone模式下，Spark集群的安装和配置。Yarn模式不需要启动spark集群，只需要启动hadoop集群即可，在启动hadoop集群之前，需要在yarn-site.xml文件关闭内存检查，否则在测试官方案例时可能会报错。至此，Spark集群配置就完成了。
Spark集群搭建的三种方式详解
不积跬步，无以至千里
02-26 1498
Local 模式： 在本地模式下，Spark 将作为一个单独的 Java 进程在本地运行，不需要启动额外的集群资源。本地模式适用于开发和调试，可以快速运行 Spark 应用程序并查看结果，而不需要配置和管理集群资源。Standalone 模式： Standalone 模式是 Spark 提供的最简单的部署方式，也是默认的部署模式。在 Standalone 模式下，Spark 自身作为一个独立的集群运行，可以通过启动 Spark Master 和 Spark Worker 进程来启动一个完整的 Spark 集
spark集群搭建
11-05
spark高手之路第一章：主要讲述如何搭建spark集群，hadoop的分布式集群环境，以及如何构建spark集群
基于CDH的spark集群搭建
09-15
基于CDH的spark集群搭建，包括了httpd等服务的部署过程
基于Linux平台下的Hadoop和Spark集群搭建研究.pdf
09-06
基于Linux平台下的Hadoop和Spark集群搭建研究.pdf
Spark运行环境搭建
weixin_52112640的博客
06-07 2394
（2）启动Local环境 进入解压缩后的路径，执行一下命令
大数据技术——spark集群搭建
qq_53142796的博客
04-13 4227
Spark是一个开源的大数据处理框架，它可以在分布式计算集群上进行高效的数据处理和分析。Spark的特点是速度快、易用性高、支持多种编程语言和数据源。Spark的核心是基于内存的计算模型，可以在内存中快速地处理大规模数据。Spark支持多种数据处理方式，包括批处理、流处理、机器学习和图计算等。Spark的生态系统非常丰富，包括Spark SQL、Spark Streaming、MLlitGraphX等组件，可以满足不同场景下的数据处理需求。
Spark集群搭建超详细教程
热门推荐
笑看风云路的博客
05-19 1万+
前言 在上一篇文章《Hadoop集群搭建配置教程》中详细介绍了Hadoop集群搭建的全部过程，今天为大家带来分布式计算引擎Spark集群搭建，还是使用三个虚拟机节点上进行安装部署，围绕Standalone模式和Yarn模式的这两种部署模式进行展开。 集群搭建具体步骤 注意：以下步骤均在hadoop1节点上进行操作，特殊说明除外！ Standalone模式 1、下载spark-3.0.0的jar包 下载地址： https://archive.apache.org/dist/spark/spark-3.0.
06: Spark集群环境搭建
lijun05的博客
09-17 2183
Spark集群配置
spark的环境配置
lookqinghuaci的博客
06-17 2753
进入spark配置目录后，执行命令：cp spark-env.sh.template spark-env.sh与vim spark-env.sh export JAVA_HOME=/usr/local/jdk1.8.0_162 export SPARK_MASTER_HOST=master export SPARK_MASTER_PORT=7077 JAVA_HOME：指定JAVA_HOME的路径。若集群中每个节点在/etc/profile文件中都配置了JAVA_HOME，则该选项可以省略，Spark集群启
Spark集群搭建与测试【完整版】
05-02
Spark集群搭建的完整过程，可参考搭建一个属于自己的Spark集群。非常适合新手，学习spark平台的搭建。
spark 分布式集群搭建
06-12
Spark standalone 分布式集群搭建,Spark standalone运行模式,Spark Standalone运行架构解析---Spark基本工作流程,Spark Standalone运行架构解析---Spark local cluster模式
Spark集群环境搭建
06-15
Spark集群环境搭建
sparkctl x86/arm不同平台编译使用
最新发布
yztezhl的专栏
04-24 818
sparkctl是 Spark Operator 的一个命令行工具，用于创建、列出、检查状态、获取日志和删除SparkApplication。它还可以进行从本地端口到 Spark Web UI 端口的端口转发，以访问驱动程序上的 Spark Web UI。每个功能都是作为子命令实现的sparkctl。
Spark---核心概念（Spark,RDD,Spark的核心构成组件）详解
onthe_wing的博客
04-18 817
Spark就是一个集成离线计算，实时计算，SQL查询，机器学习，图计算为一体的通用的计算框架。何为RDD？其实RDD就是一个不可变的scala的并行集合。Spark的核心概念就是RDD，指的是一个不可变、可分区、里面元素可并行计算的集合，这个数据的全部或者部分可以缓存在内存中，在多次计算间被重用。
Spark java.io.NotSerializableException
Aidon博客
04-24 458
Spark core将数据写入MySQL，出现Caused by: java.io.NotSerializableException: com.mysql.cj.jdbc.DatabaseMetaData异常，解决数据反序列化问题，本文将使用两种方案解决其具体问题。
spark3.0.0单机模式安装
m0_64825044的博客
04-24 334
添加以下内容，/bigdata/hadoop就是hadoop的路径，可根据自己的实际情况修改。下载spark3.0.0版本，hadoop和spark版本要对应，否则会不兼容。用xftp上传Linux虚拟机，上传目录/bigdata（可修改）注：此安装教程基于hadoop3集群版本。这是一个求Π的示例程序，输出如下。打开spark shell终端。修改spark配置文件。
阐述Spark集群搭建的基本过程
06-12
Spark集群搭建的基本过程如下： 1. 确定集群规模和硬件配置：首先需要确定集群中节点的数量和每个节点的硬件配置，包括CPU、内存、硬盘等。 2. 安装操作系统：在每个节点上安装操作系统，可以选择Linux或者Windows等操作系统。 3. 安装Java环境：Spark需要Java环境的支持，因此需要在每个节点上安装Java环境。 4. 安装Spark：在每个节点上安装Spark，可以选择下载源码编译安装或者直接下载二进制包安装。 5. 配置Spark环境变量：在每个节点上配置Spark的环境变量，包括SPARK_HOME、PATH等。 6. 配置集群管理工具：可以选择使用YARN、Mesos等集群管理工具，需要在每个节点上安装和配置相应的工具。 7. 配置Spark集群：需要在每个节点上配置Spark集群的相关参数，包括master地址、worker地址、内存大小等。 8. 启动Spark集群：按照指定的启动命令启动Spark集群，可以使用Spark自带的启动脚本或者使用集群管理工具启动。 9. 测试Spark集群：可以使用Spark自带的测试脚本或者编写自己的测试程序来测试Spark集群的性能和稳定性。 需要注意的是，Spark集群的搭建需要一定的技术水平和经验，建议在实际操作前做好相关的准备工作和学习。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值