spark&&zookeeper集群搭建

本文详细介绍了如何搭建Spark和Zookeeper集群。首先安装JDK,然后在Spark官网上下载并解压安装包,配置环境变量和slaves文件,并在各节点启动成功。接着安装Zookeeper,下载并解压,配置zoo.cfg,创建myid文件,并在各节点分配。最后,配置高可用的Spark集群,启动Zookeeper服务,确保Spark能够与Zookeeper协同工作,形成高可用的Spark集群。
摘要由CSDN通过智能技术生成

1.安装JDK
这里之前在hadoop集群搭建中已有详细的介绍(包括虚拟机网络配置,免密码登录都有详细介绍)
请参考:hadoop集群搭建过程

二、安装spark

1.下载spark安装包
spark官网下载 http://spark.apache.org/downloads.html

2.上传解压spark

rz   //上传
tar -zxvf spark-3.0.0-preview2-bin-hadoop2.7.tgz -C /export/servers/    //解压到/export/servers/ 目录下

3.配置spark环境变量

只要在master上配置就好

 cd spark-3.0.0-preview2-bin-hadoop2.7/
 ls
 cd conf
 ls
 cp spark-env.sh.template spark-env.sh    //拷贝备份
 cp slaves.template slaves   //拷贝备份

配置 spark-env.sh

vim spark-env.sh 
//最后加入
export JAVA_HOME=/export/servers/jdk
export SPARK_MASTER_HOST=Master
SPARK_MASTER_PORT=707

在这里插入图片描述
配置slaves

vim slaves
//加入
Slave2
Slave1

在这里插入图片描述
4.分配到其他机器

scp -r spark-3.0.0-preview2-bin-hadoop2.7 slave1.
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值