安装spark并配置高可用

最新推荐文章于 2024-07-06 05:35:14 发布
最新推荐文章于 2024-07-06 05:35:14 发布
阅读量362 收藏 2
点赞数
分类专栏： 大数据 文章标签： spark 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013869488/article/details/133698205
版权

0、说明

上一篇文章讲了如何安装hadoop，这里将spark的详细安装步骤记录在这里。
其中实现了spark的高可用配置，即将zookeeper配置到spark集群中。对于资源管理也配置了yarn模。并开启了spark-sql的配置，可以通过jdbc链接spark。

  • spark 集群安装
  • zookeeper配置
  • yarn配置
  • 配置spark-sql

1、 普通安装

1、下载

wget https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.0.2/spark-3.0.2-bin-hadoop3.2.tgz

2、规划

三台机器，master节点，一主一备，worker节点，三个都是worker

svr43server42server37
ip192.168.0.43192.168.0.42192.168.0.37
masteryesNyes
workeryesyesyes
zookeeperzookeeperzookeeper

3、解压

tar -zxvf  spark-3.1.1-bin-without-hadoop.tgz

4、配置（三台机器保持一样的配置）

cd spark-3.1.1-bin-without-hadoop/conf
  • 配置spark-env.sh
airwalk@svr43:~/bigdata/soft/spark-3.1.1-bin-without-hadoop/conf$ mv spark-env.sh.template spark-env.sh
airwalk@svr43:~/bigdata/soft/spark-3.1.1-bin-without-hadoop/conf$ vim spark-env.sh
# 添加如下内容，设置java_hone,设置集群的master机器名或者机器的ip地址
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export SPARK_MASTER_HOST=192.168.0.43
  • 配置worker
airwalk@svr43:~/bigdata/soft/spark-3.0.2-bin-hadoop3.2/conf$ mv workers.template workers

vim workers
# 添加如下内容，可以添加主机名，也可以添加ip地址，这里使用的是ip地址
# A Spark Worker will be started on each of the machines listed below.
192.168.0.43
192.168.0.42
192.168.0.37
  • 配置日志
airwalk@svr43:~/bigdata/soft/spark-3.0.2-bin-hadoop3.2/conf$ mv log4j.properties.template log4j.properties
airwalk@svr43:~/bigdata/soft/spark-3.0.2-bin-hadoop3.2/conf$ vim log4j.properties
  • 配置环境变量
# 配置spark的环境变量
sudo vim /etc/profile
# SPARK_HOME
export SPARK_HOME=/home/airwalk/bigdata/soft/spark-3.0.2-bin-hadoop3.2
export PATH=$SPARK_HOME/bin:$PATH

# 使文件生效
source /etc/profile

5、启动

# 在master机器上启动一下命令
./sbin/start-all.sh

6、查看

# dakai
http://svr43:8080/

在这里插入图片描述

7、配置历史记录

# 一下配置需要在所有节点上配置
airwalk@server42:~/bigdata/soft/spark-3.0.2-bin-hadoop3.2/conf$ mv spark-defaults.conf.template spark-defaults.conf
airwalk@server42:~/bigdata/soft/spark-3.0.2-bin-hadoop3.2/conf$ vim spark-defaults.conf 
# 添加如下内容
spark.eventLog.enabled          true
spark.eventLog.dir              hdfs://192.168.0.43:9000/directory

# 创建目录 directory
hdfs dfs -mkdir /directory

# 修改spark-env.sh
vim spark-env.sh
# 添加如下内容
export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080
-Dspark.history.fs.logDirectory=hdfs://192.168.0.43:9000/directory
-Dspark.history.retainedApplications=30"

# web-ui 端口号
# 日志存储的路径
# 指定保存applications历史记录保存的个数，如果超过这个值，旧的信息就会被删除，这个是内存中的应用数，而不是页面上显示的应用数

# 重启服务,master上执行
./sbin/stop-all.sh
./sbin/start-all.sh
./sbin/start-history-server.sh

# 测试
./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://192.168.0.43:7077 \
examples/jars/spark-examples_2.12-3.0.2.jar \
10

# 查看历史web
http://svr43:18080/

在这里插入图片描述

2、 * spark的高可用配置

三台机器，master节点，一主一备，worker节点，三个都是worker。主节点之间的协调通过zookeeper来实现

svr43server42server37
ip192.168.0.43192.168.0.42192.168.0.37
masteryesNyes
workeryesyesyes
zookeeperzookeeperzookeeper

1、安装zookeeper*

# 下载
wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gz
# 解压
tar -zxvf  apache-zookeeper-3.6.3-bin.tar.gz
mv  apache-zookeeper-3.6.3-bin/ zookeeper

# 创建数据目录和日志目录
 mkdir data
 mkdir log
 pwd
/home/airwalk/bigdata/soft/zookeeper

# 配置zoo.cfg
airwalk@svr43:~/bigdata/soft/zookeeper$ cd conf/
airwalk@svr43:~/bigdata/soft/zookeeper/conf$ ls
configuration.xsl  log4j.properties  zoo_sample.cfg
airwalk@svr43:~/bigdata/soft/zookeeper/conf$ mv zoo_sample.cfg zoo.cfg 
airwalk@svr43:~/bigdata/soft/zookeeper/conf$ vim zoo.cfg 
# 添加如下内容
dataDir=/home/airwalk/bigdata/soft/zookeeper/data
dataLogDir=/home/airwalk/bigdata/soft/zookeeper/log
clientPort=2181
server.0=192.168.0.43:2888:3888
server.1=192.168.0.42:2888:3888
server.2=192.168.0.37:2888:3888

# 配置zookeeper的环境变量
sudo vim /etc/profile
# ZOOKPEER_HOME
export ZOOKEEPER_HOME=/home/airwalk/bigdata/soft/zookeeper
export PATH=$ZOOKEEPER_HOME/bin:$PATH
# 使文件生效
source /etc/profile

# 配置id
#  在master节点上配置为0，余下的分别配置为1,2 跟zoo.cfg中的编号保持一致
cd data
echo 0 > myid

# 启动，如果环境变量设置失败的话，需要到bin目录下执行
zkServer.sh start

# 查看
zkServer.sh status
airwalk@server37:~/bigdata/soft/zookeeper/data$ zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /home/airwalk/bigdata/soft/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: leader

2、配置

  • spark-env.sh
vim spark-env.sh
# 这个注释掉
# export SPARK_MASTER_HOST=192.168.0.43
SPARK_MASTER_WEBUI_PORT=8989

export SPARK_DAEMON_JAVA_OPTS="
-Dspark.deploy.recoveryMode=ZOOKEEPER
-Dspark.deploy.zookeeper.url=192.168.0.43,192.168.0.42,192.168.0.37
-Dspark.deploy.zookeeper.dir=/spark"
  • 重启集群
./sbin/stop-all.sh
./sbin/start-all.sh

# 在备用master上启动master
# 192.168.0.37

airwalk@server37:~/bigdata/soft/spark-3.0.2-bin-hadoop3.2/sbin$ jps
48130 Worker
46650 QuorumPeerMain
43995 SecondaryNameNode
43789 DataNode
48351 Jps
airwalk@server37:~/bigdata/soft/spark-3.0.2-bin-hadoop3.2/sbin$ ./start-master.sh
starting org.apache.spark.deploy.master.Master, logging to /home/airwalk/bigdata/soft/spark-3.0.2-bin-hadoop3.2/logs/spark-airwalk-org.apache.spark.deploy.master.Master-1-server37.out
airwalk@server37:~/bigdata/soft/spark-3.0.2-bin-hadoop3.2/sbin$ jps
48130 Worker
48405 Master
46650 QuorumPeerMain
43995 SecondaryNameNode
43789 DataNode
48575 Jps
  • 查看
# 主节点
http://192.168.0.43:8989/
# 从节点
http://192.168.0.37:8989/

主节点如下图：
主master

从节点如下图：
从节点

3、 *spark的yarn模式配置

  • 修改hadoop的yarn-site.xml文件
<!-- 是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其kill掉，默认是true -->
<property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
    </property>

<!-- 是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其kill掉，默认是true -->
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>
  • 配置spark-env.sh
YARN_CONF_DIR=/home/airwalk/bigdata/soft/hadoop-2.10.1/etc/hadoop
  • 重启hdfs，yarn，spark
# 重启hdfs，yarn
airwalk@svr43:~/bigdata/soft/hadoop-2.10.1/sbin$ ./stop-dfs.sh
airwalk@server42:~/bigdata/soft/hadoop-2.10.1/sbin$ ./stop-yarn.sh 

airwalk@svr43:~/bigdata/soft/hadoop-2.10.1/sbin$ ./start-dfs.sh
airwalk@server42:~/bigdata/soft/hadoop-2.10.1/sbin$ ./start-yarn.sh

# 重启spark
airwalk@svr43:~/bigdata/soft/spark-3.0.2-bin-hadoop3.2/sbin$ ./stop-all.sh 
airwalk@server37:~/bigdata/soft/spark-3.0.2-bin-hadoop3.2/sbin$ ./stop-master.sh 
airwalk@svr43:~/bigdata/soft/spark-3.0.2-bin-hadoop3.2/sbin$ ./start-all.sh 
airwalk@server37:~/bigdata/soft/spark-3.0.2-bin-hadoop3.2/sbin$ ./start-master.sh
  • 测试spark
# 测试
./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
examples/jars/spark-examples_2.12-3.0.2.jar \
10

在这里插入图片描述

  • 查看web-ui
http://192.168.0.43:8989/

在这里插入图片描述

4、 启动spark-sql

  • 启动zookeeper
zkServer.sh start
  • 启动hadoop
./start-dfs.sh;
./start-yarn.sh
  • 启动spark
./start-all.sh
  • 首先启动
内网连接：
sbin/start-thriftserver.sh --master spark://10.9.2.100:7077  --driver-class-path /usr/local/hive-1.2.1/lib/mysql-connector-java-5.1.31-bin.jar
外网连接：

./start-thriftserver.sh   --hiveconf hive.server2.thrift.port=10000  --hiveconf hive.server2.thrift.bind.host=svr43
  • 其次使用beeline启动
netstat -lnut | grep 10000

beeline -u jdbc:hive2://192.168.0.43:10000
欧阳小伙
关注
专栏目录
《大数据： Spark （HA） 高可用配置》
yexiangCSDN的专栏
11-12 197
一、Spark （HA） 高可用配置 由于之前的 spark master 只有一个, 所以也有单点故障问题 依靠zookeeper来帮助实现高可用配置，可以启动多个 master, 先启动的处于 Active 状态, 其他的都处于 Standby 状态 1. 修改 spark-env.sh 末尾添加如下 （可以再之前的 standalone 那套里面改） export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -
高可用spark安装与配置
m0_55769244的博客
10-22 580
（1）解压安装包到/usr/local下。 tar -zxf /opt/spark-1.6.3-bin-hadoop2.6.tgz -C /usr/local （2）进入/usr/local/spark-1.6.3-bin-hadoop2.6/conf。 cd /usr/local/spark-1.6.3-bin-hadoop2.6/conf 3）配置spark-env.sh文件，复制spark-env.sh.template文件,重命名为spark-env.sh
spark高可用的配置
weixin_43857365的博客
04-01 620
spark高可用集群的搭建方式 搭高可用的集群有两种方式，一种是基于文件系统，一种是基于zookeeper。但是zookeeper有选举的功能，也就是当一台master挂掉之后，备用的master能够被zookeeper启动起来，并基于zookeeper恢复数据。 zookeeper的作用 托管主节点的信息，HDFS(namenode),YARN(resourcemanager)。 自动选举le...
实验3-Spark基础-Spark的安装
最新发布
想要AC的sjh的博客空间
07-06 979
PYTHONPATH环境变量主要是为了在Python3中引入Pyspark库，对于不同版本的Spark , 其py4j-0.10.7-src.zip文件名是不同的，要进入相应目录 $SPARK_HOME/python/lib/ 下具体查看确定具体名称，再对PYTHONPATH环境变量的相应值加以修改。配置完成的文件如图所示。此指导书中使用的 Spark 版本为 spark-2.3.3-bin-hadoop2.7.tgz ，实验环境中存放在 /hadoop-packages/ 目录下。本实验平台不需要下载。
spark高可用安装
genhaoyou的博客
04-08 244
下载scala与spark并解压,添加至环境变量 编辑spark-env.sh 添加如下变量 export JAVA_HOME=/opt/apps/software/jdk1.8.0_201 export SCALA_HOME=/opt/apps/software/scala-2.11.8 export HADOOP_HOME=/opt/apps/software/hadoop-2.7.3 e...
Spark配置高可用（HA）
Faith_xzc
08-10 2639
基本介绍 所谓的高可用是因为当前集群中的 Master 节点只有一个，所以会存在单点故障问题。所以 为了解决单点故障问题，需要在集群中配置多个 Master 节点，一旦处于活动状态的 Master 发生故障时，由备用 Master 提供服务，保证作业可以继续执行。这里的高可用一般采用 Zookeeper 设置。 集群规划 步骤 停止集群 [root@hadoop102 spark-standalone]# sbin/stop-all.sh 启动Zookeeper [root@hadoop102
Spark Standalone HA（高可用）模式
若兰幽竹
08-26 853
Spark Standalone HA（高可用）模式一、HA架构说明二、主机规划三、Zookeeper的安装四、Spark的安装五、运行测试 一、HA架构说明 二、主机规划 主节点 从节点 hadoop002，hadoop005 hadoop003，hadoop004 Zookeeper hadoop002 ，hadoop003，hadoop004 三、Zookeeper的安装 请参考Zookeeper的集群安装 四、Spark的安装 安装部署，请
十一、安装并配置Spark
sinat_32475603的博客
10-21 798
解压Spark组件 tar -zxvf ./home/master/spark-2.0.0-bin-hadoop2.6.tgz -C ./home/master (先进入到根目录中：cd /) 2.配置环境变量 vim /etc/profile export SPARK_HOME=/home/master/spark-2.0.0 export PATH=$PATH:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin:...
spark 高可用安装文档
12-13
4. **Spark配置**： - 进入Spark的`conf`目录： ```bash cd /usr/tools/spark-1.6.1-bin-hadoop2.6/conf ``` - 复制模板文件并重命名： ```bash cp spark-env.sh.template spark-env.sh cp log4j.properties...
centOS7下Spark安装配置教程详解
09-15
请注意，这只是一个基础的安装配置过程，实际部署可能需要考虑更多因素，比如安全性、资源管理、高可用性等。在生产环境中，你可能还需要配置YARN或Mesos作为资源管理器，以及设置其他高级特性，如动态资源分配和...
Spark的安装（Standalone模式，高可用模式，基于Yarn模式）
01-20
spark的Standalone模式安装  一、安装流程 1、将spark-2.2.0-bin-hadoop2.7.tgz 上传到 /usr/local/spark/ 下，然后解压 2、进入到conf中修改名字 改为 .sh 结尾的 3、编辑 spark-env.sh 4、修改slaves 的...
Spark环境搭建——HA高可用模式
01-20
Spark的高可用（HA）模式是为了克服其Standalone集群中Master节点的单点故障问题而设计的。在标准模式下，Spark Standalone集群由一个Master节点和多个Slave节点组成，Master负责调度作业和管理资源，但这样的架构...
Spark高可用集群安装
夜雨寒霜
12-21 498
1、停止 Spark 集群 [hadoop@hadoop02 ~]$ cd /home/hadoop/apps/spark-2.3.0-bin-hadoop2.7 [hadoop@hadoop02 ~]$ sbin/stop-all.sh 2、配置 ZooKeeper 集群 安装、配置并且启动好 ZooKeeper 集群 3、修改 SPARK_HOME/conf 目录中的 spark-en...
Spark集群的安装及高可用配置
杯酒故人
10-31 556
Spark集群的安装及高可用配置 前期需求：Hadoop和Scala必须已经安装完成 步骤： ①进入spark下载网站中https://spark.apache.org/downloads.html （红框的部分是选择tar包的版本，选择完毕之后点击绿框的部分下载） ②下载完成之后用xftp将安装包传服务器的opt文件夹下。然后用tar命令解压。解压完成之后删除安装包。再然后进入/etc/pro...
Spark安装（高可用版）
虾哔哔的博客
04-15 337
前提：安装好了JDK 1.下载spark安装包并上传到服务器解压 http://www.apache.org/dyn/closer.lua/spark/spark-1.5.2/spark-1.5.2-bin-hadoop2.6.tgz tar -zxvf spark-1.5.2-bin-hadoop2.6.tgz -C /usr/local/apps/platform/ #创建软链接...
Spark学习（二）Spark高可用集群搭建
potter
04-20 2073
1、下载Spark安装包官网网址：http://spark.apache.org/downloads.html2、Spark安装过程2.1、上传并解压缩[potter@potter2 ~]$ tar -zxvf spark-2.3.0-bin-hadoop2.7.tgz -C apps/2.2、修改配置文件（1）进入配置文件所在目录/home/potter/apps/spark-2.3.0-bin...
基于zookeeper的Spark高可用集群配置
YQlakers的博客
06-01 2557
首先我们这里配置的三台机器的集群 名称分别为hadoop、hadoop1、hadoop2 首先是安装Zookeeper: （1）下载Zookeeper：http://apache.claz.org/zookeeper ... keeper-3.4.5.tar.gz （2）解压到/root/install/目录下 （3）创建两个目录，一个是数据目录，一个日志目录  （4
大数据学习[05]:Spark高可用配置安装
ld326的专栏
09-18 981
摘要：目的是基于zk搭建高可用Spark计算框架；首先安装scala环境；然后，配置spark相关配置文件；最后启动zookeeper，hadoop, spark，查看各个节点的进程情况, 展示demo, 验证spark高可用是怎么一回事。前置linux集群系统配置：[1] 大数据学习前夕[01]:系统-网络-SSH JDK环境：[2] 大数据学习前夕[02]:JDK安装升级 zookeepe
spark环境安装之HA 高可用
weixin_43924642的博客
04-18 288
高可用部署说明 Spark Standalone 集群是 Master-Slaves 架构的集群模式，和大部分的 Master-Slaves 结构集群一样，存在着 Master 单点故障的问题。如何解决这个 单点故障的问题，Spark 提供了两种方案： （1）基 于 文 件 系 统 的 单 点 恢 复 (Single-Node Recovery with Local File System)。 主...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

欧阳小伙

您的打赏是我创作的：最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值