搭建Spark Standalone高可用集群

最新推荐文章于 2024-05-21 21:41:07 发布
最新推荐文章于 2024-05-21 21:41:07 发布
阅读量304 收藏 1
点赞数
分类专栏： Spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mengshicheng1992/article/details/119777802
版权

搭建Spark Standalone高可用集群

此文以Spark 3.1.2版本为例！

如未指定，下述命令在所有节点执行！

一、系统资源及组件规划

节点名称系统名称CPU/内存网卡磁盘IP地址OS节点角色
Master1master12C/4Gens33128G192.168.0.11CentOS7Master
Master2master22C/4Gens33128G192.168.0.12CentOS7Master
Worker1worker12C/4Gens33128G192.168.0.21CentOS7Worker、ZooKeeper
Worker2worker22C/4Gens33128G192.168.0.22CentOS7Worker、ZooKeeper
Worker3worker32C/4Gens33128G192.168.0.23CentOS7Worker、ZooKeeper

二、系统软件安装与设置

1、安装基本软件

yum -y install vim lrzsz bash-completion

在这里插入图片描述

2、设置名称解析

echo 192.168.0.11 master1 >> /etc/hosts
echo 192.168.0.12 master2 >> /etc/hosts
echo 192.168.0.21 worker1 >> /etc/hosts
echo 192.168.0.22 worker2 >> /etc/hosts
echo 192.168.0.23 worker3 >> /etc/hosts

在这里插入图片描述

3、设置NTP

yum -y install chrony

在这里插入图片描述

systemctl start chronyd
systemctl enable chronyd
systemctl status chronyd

在这里插入图片描述

chronyc sources

在这里插入图片描述

4、设置SELinux、防火墙

systemctl stop firewalld
systemctl disable firewalld
setenforce 0
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

在这里插入图片描述

三、搭建Spark Standalone高可用集群

1、设置SSH免密登录

在Master1和Master2节点上配置免密ssh所有节点：

ssh-keygen -t rsa

在这里插入图片描述

for host in master1 master2 worker1 worker2 worker3; do ssh-copy-id -i ~/.ssh/id_rsa.pub $host; done

在这里插入图片描述

2、安装JDK

下载JDK文件：

参考地址：https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

解压JDK安装文件：

tar -xf /root/jdk-8u291-linux-x64.tar.gz -C /usr/local/

在这里插入图片描述

设置环境变量：

export JAVA_HOME=/usr/local/jdk1.8.0_291/
export PATH=$PATH:/usr/local/jdk1.8.0_291/bin/

在这里插入图片描述

添加环境变量至/etc/profile文件：

export JAVA_HOME=/usr/local/jdk1.8.0_291/
PATH=$PATH:/usr/local/jdk1.8.0_291/bin/

在这里插入图片描述

查看Java版本：

java -version

在这里插入图片描述

3、安装ZooKeeper

下载ZooKeeper文件：

参考地址：https://downloads.apache.org/zookeeper/stable/

在Worker节点上（ZooKeeper节点）解压ZooKeeper安装文件：

tar -xf /root/apache-zookeeper-3.6.3-bin.tar.gz -C /usr/local/

在这里插入图片描述

在Worker节点上（ZooKeeper节点）设置环境变量：

export PATH=$PATH:/usr/local/apache-zookeeper-3.6.3-bin/bin/

在这里插入图片描述

在Worker节点上（ZooKeeper节点）添加环境变量至/etc/profile文件：

PATH=$PATH:/usr/local/apache-zookeeper-3.6.3-bin/bin/

在这里插入图片描述

在Worker节点上（ZooKeeper节点）创建ZooKeeper数据目录：

mkdir /usr/local/apache-zookeeper-3.6.3-bin/data/

在这里插入图片描述

在Worker节点上（ZooKeeper节点）创建ZooKeeper配置文件：

mv /usr/local/apache-zookeeper-3.6.3-bin/conf/zoo_sample.cfg /usr/local/apache-zookeeper-3.6.3-bin/conf/zoo.cfg

在这里插入图片描述

在Worker节点上（ZooKeeper节点）修改ZooKeeper配置文件：

vim /usr/local/apache-zookeeper-3.6.3-bin/conf/zoo.cfg

添加数据目录：

dataDir=/usr/local/apache-zookeeper-3.6.3-bin/data/

在这里插入图片描述

添加ZooKeeper节点：

server.1=worker1:2888:3888
server.2=worker2:2888:3888
server.3=worker3:2888:3888

在这里插入图片描述

ZooKeeper配置参数解读

Server.A=B:C:D。

A是一个数字，表示这个是第几号服务器；

B是这个服务器的IP地址；

C是这个服务器与集群中的Leader服务器交换信息的端口；

D是当集群中的Leader服务器故障，需要一个端口来重新进行选举，选出一个新的Leader，而端口D就是用来执行选举时服务器相互通信的端口。

集群模式下配置一个文件myid，这个文件在dataDir目录下，这个文件里面有一个数据就是A的值，Zookeeper启动时读取此文件，拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。

在Worker1节点上（ZooKeeper节点）创建myid文件，并添加A值：

touch /usr/local/apache-zookeeper-3.6.3-bin/data/myid
echo 1 > /usr/local/apache-zookeeper-3.6.3-bin/data/myid

在这里插入图片描述

在Worker2节点上（ZooKeeper节点）创建myid文件，并添加A值：

touch /usr/local/apache-zookeeper-3.6.3-bin/data/myid
echo 2 > /usr/local/apache-zookeeper-3.6.3-bin/data/myid

在这里插入图片描述

在Worker3节点上（ZooKeeper节点）创建myid文件，并添加A值：

touch /usr/local/apache-zookeeper-3.6.3-bin/data/myid
echo 3 > /usr/local/apache-zookeeper-3.6.3-bin/data/myid

在这里插入图片描述

在Worker节点上（ZooKeeper节点）启动ZooKeeper：

zkServer.sh start

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在Worker节点上（ZooKeeper节点）查看ZooKeeper状态：

zkServer.sh status

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

4、安装Spark Standalone高可用集群

下载Spark文件：

参考地址：http://spark.apache.org/downloads.html

解压Spark安装文件：

tar -zxf /root/spark-3.1.2-bin-hadoop3.2.tgz -C /usr/local/

在这里插入图片描述

设置环境变量：

export PATH=$PATH:/usr/local/spark-3.1.2-bin-hadoop3.2/bin/:/usr/local/spark-3.1.2-bin-hadoop3.2/sbin/

在这里插入图片描述

添加环境变量至/etc/profile文件：

PATH=$PATH:/usr/local/spark-3.1.2-bin-hadoop3.2/bin/:/usr/local/spark-3.1.2-bin-hadoop3.2/sbin/

Master节点/etc/profile文件：

在这里插入图片描述

Worker节点/etc/profile文件：

在这里插入图片描述

5、配置Spark Standalone高可用集群

创建spark-env.sh文件：

cat > /usr/local/spark-3.1.2-bin-hadoop3.2/conf/spark-env.sh << EOF
export JAVA_HOME=/usr/local/jdk1.8.0_291/
SPARK_MASTER_PORT=7077
SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=worker1:2181,worker2:2181,worker3:2181 -Dspark.deploy.zookeeper.dir=/spark"
EOF

在这里插入图片描述

创建workers文件，指定Worker节点：

cat > /usr/local/spark-3.1.2-bin-hadoop3.2/conf/workers << EOF
worker1
worker2
worker3
EOF

在这里插入图片描述

6、启动Spark Standalone高可用集群

在Master1节点上（主Master）启动Spark集群：

start-all.sh

在这里插入图片描述

在Master2节点上（备Master）启动Spark Master节点：

start-master.sh

在这里插入图片描述

在各类节点上查看Spark进程：

jps

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

7、登录Spark Standalone高可用集群

登录主Master节点：

http://192.168.0.11:8080

在这里插入图片描述

登录备Master节点：

http://192.168.0.12:8080

在这里插入图片描述

登录Worker节点：

http://192.168.0.21:8081

在这里插入图片描述

8、Spark Standalone集群故障演示

关闭Master1节点

在Master2节点上查看集群状态：

在这里插入图片描述

恢复Master1节点，启动Spark Master节点

在Master节点上查看集群状态：

在这里插入图片描述

在这里插入图片描述

Master1节点恢复，主从节点未切换

9、关闭Spark Standalone高可用集群

在Master1节点上（备Master）关闭Spark Master节点：

stop-master.sh

在这里插入图片描述

在Master2节点上（主Master）关闭Spark集群：

stop-all.sh

在这里插入图片描述

mengshicheng1992
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
搭建Spark Standalone模式的集群(学生版）
weixin_55988146的博客
03-14 3895
进入实例ty_win7 利用SecureCRT登录三台虚拟机 打开连接对话框 1、登录master虚拟机 单击连接对话框里的master，登录master虚拟机 在master虚拟机上安装vim编辑器 执行命令：vi /etc/resolv.conf，修改/etc/resolv.conf 添加两个域名服务器 存盘退出 执行命令：yum -y install vim 现在我们通过/etc/resolv.conf文件添加了域名解析服务器，因此可以ping...
Spark Standalone架构及安装部署
小叮当的博客
11-04 1851
Spark Standalone部署
Spark集群安装部署
MJK祺的博客
05-18 1695
由于Spark仅仅是一种计算机框架，不负责数据的存储和管理，因此，通常都会将Spark和Hadoop进行统一部署，由Hadoop中的HDFS，HBase等组件负责数据的存储管理，Spark负责数据计算。本文章主要阐述在Standalone模式下，Spark集群的安装和配置。Yarn模式不需要启动spark集群，只需要启动hadoop集群即可，在启动hadoop集群之前，需要在yarn-site.xml文件关闭内存检查，否则在测试官方案例时可能会报错。至此，Spark集群配置就完成了。
Spark学习（3）-Spark环境搭建-Standalone
一个人的江湖
07-27 1191
Standalone模式是Spark自带的一种集群模式，不同于前面本地模式启动多个进程来模拟集群的环境，Standalone模式是真实地在多个机器之间搭建Spark集群的环境，完全可以利用该模式搭建多机器集群，用于实际的大数据处理。这个文件的修改不是必须的,为什么修改为WARN.因为Spark是个话痨，会疯狂输出日志,设置级别为WARN只输出警告和错误日志,不要输出一堆废话。注意,上面的配置的路径要根据你自己机器实际的路径来写。进入到spark的配置文件目录中,同时不要忘记都创建。...
Spark搭建 Standalone模式详细步骤
最新发布
weixin_52134189的博客
05-21 1348
Spark搭建 Standalone模式详细步骤
Spark环境搭建——standalone集群模式
01-07
这篇博客，Alice为大家带来的是Spark集群环境搭建之——standalone集群模式。 文章目录集群角色介绍集群规划修改配置并分发启动和停止查看web界面测试 集群角色介绍  Spark是基于内存计算的大数据并行计算框架，...
spark 分布式集群搭建
06-12
Spark standalone 分布式集群搭建,Spark standalone运行模式,Spark Standalone运行架构解析---Spark基本工作流程,Spark Standalone运行架构解析---Spark local cluster模式
Spark环境搭建——HA高可用模式
01-20
本篇博客，Alice为大家带来的是Spark的HA高可用环境搭建的教程。 原理 Spark Standalone集群是Master-Slaves架构的集群模式，和大部分的Master-Slaves结构集群一样，存在着Master单点故障的问题。 如何解决这个单点...
使用docker快速搭建Spark集群的方法教程
01-20
下面来一起看看使用docker快速搭建Spark集群的方法教程。 适用人群 正在使用spark的开发者 正在学习docker或者spark的开发者 准备工作 安装docker (可选)下载java和spark with hadoop Spark集群 Spark运行时架构...
Spark的安装（Standalone模式，高可用模式，基于Yarn模式）
01-20
spark的Standalone模式安装  一、安装流程 1、将spark-2.2.0-bin-hadoop2.7.tgz 上传到 /usr/local/spark/ 下，然后解压 2、进入到conf中修改名字 改为 .sh 结尾的 3、编辑 spark-env.sh 4、修改slaves 的...
Spark基础学习笔记05：搭建Spark Standalone模式的集群
f54268589的博客
06-07 449
Spark基础学习笔记05：搭建Spark Standalone模式的集群
搭建Spark Standalone集群
mengshicheng1992的博客
08-18 248
搭建Spark Standalone集群 此文以Spark 3.1.2版本为例！ 如未指定，下述命令在所有节点执行！ 一、系统资源及组件规划 节点名称 系统名称 CPU/内存 网卡 磁盘 IP地址 OS Master master 2C/4G ens33 128G 192.168.0.10 CentOS7 Worker1 worker1 2C/4G ens33 128G 192.168.0.11 CentOS7 Worker2 worker2 2C/4G ens33 128G 192
Standalone模式的Spark集群搭建
li12412414的博客
09-25 4308
   中秋节快乐！ 本文是搭建推荐系统的第一课：spark集群搭建。对于spark集群，我对它也是知之甚少。但是它和推荐系统的大规模数据计算密切相关，在本次的推荐系统痛的搭建中也使用到了spark集群。所以，搭建spark集群是我的第一步工作。因为后面的诸如HDFS,YARN,HIVE等都是基于spark集群的。由于Linux服务器数量的问题，本次搭建的sparck集群为Spark自带的集群模式...
spark (3)Spark Standalone集群安装介绍
猿类崛起
06-19 395
  (1)初学者对于spark的几个疑问 http://aperise.iteye.com/blog/2302481 (2)spark开发环境搭建 http://aperise.iteye.com/blog/2302535 (3)Spark Standalone集群安装介绍 http://aperise.iteye.com/blog/2305905 (4)spar...
五、standalone运行模式
weixin_34266504的博客
12-02 715
在上文中我们知道spark的集群主要有三种运行模式standalone、yarn、mesos，其中常被使用的是standalone和yarn，本文了解一下什么是standalone运行模式，它的运行流程是怎么样的。 简介 standalone模式，是spark自己实现的，它是一个资源调度框架。这里我们要关注这个框架的三个节点： 1）client 2）master 3）worker sp...
Spark环境搭建③ standalone-HA高可用模式
大数据记录
04-04 9574
原理 Spark Standalone集群是Master-Slaves架构的集群模式，和大部分的Master-Slaves结构集群一样，存在着Master单点故障的问题。 如何解决这个单点故障的问题，Spark提供了两种方案： 1.基于文件系统的单点恢复(Single-Node Recovery with Local File System)--只能用于开发或测试环境。 2.基于zooke...
梳理对Spark Standalone的理解
张包峰的博客
02-12 7962
spark在这一块的设计是优秀的。图中，app内的SchedulerBackend是可以针对不同资源管理系统实现的，包括没有画出来的ExecutorBackend。这俩兄弟是典型的面向资源的层次上的抽象。另一方面，app内的TaskScheduler是与Task的分配和执行、管理相关的，这部分与下层面向资源的部分是隔离开的，所谓是面向摆放的。 换句话说，SchedulerBackend在1，2，3步之后，已经从集群里，获得了本身app的executors资源。通过它，TaskScheduler可以根据自己的
配置Spark standalone集群启动
冲吧，不要停！
03-12 5561
前言 想在本地提交spark程序，在网上找了一些文章。在本地提交的前提就是，spark以集群的方式启动。于是想以简单的standalone方式启动，但在启动的时候遇到了一些问题，下面把过程和问题总结一下。 正文前提： 已经下载到spark到机器上（master和slave），并且已经配置好了SPARK_HOME（使用版本：spark-2.1.0-bin-hadoop2.7.tgz） 已经安装了j
spark standalone集群搭建
03-16
Spark Standalone集群搭建步骤如下： 1. 安装Java环境和Spark软件包； 2. 配置Spark的环境变量； 3. 配置Spark的主节点和从节点； 4. 启动Spark集群； 5. 验证Spark集群是否正常工作。 具体步骤可以参考Spark官方...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值