spark集群安装

1.初始准备:

  • 准备3台虚拟机,其IP分别为:
192.168.5.130  s201
192.168.5.131  s202
192.168.5.132  s203
  • 需要安装好JDK,环境生效即可
  • 安装好Hadoop集群

2.安装scala

https://www.scala-lang.org/download/底部可以进行相应版本压缩包的下载

cd /usr/local
wget https://downloads.lightbend.com/scala/2.13.0/scala-2.13.0.tgz
tar -zxvf scala-2.13.0.tgz
rm scala-2.13.0.tgz

修改环境变量

vim /etc/profile
# 添加以下内容
export SCALA_HOME="/usr/local/scala-2.13.0"
export PATH=$PATH:$SCALA_HOME/bin

source /etc/profile

测试:

scala
Welcome to Scala version 2.11.7 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_101).
Type in expressions to have them evaluated.

scala>

注意分发到其它机器上。

3.安装Spark

Spark官网:http://spark.apache.org/

cd /usr/local
wget http://mirror.bit.edu.cn/apache/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz
tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz
rm spark-2.4.3-bin-hadoop2.7.tgz

设置环境变量:

vim /etc/profile
# 添加以下内容
export SPARK_HOME="/usr/local/spark-2.4.3-bin-hadoop2.7"
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

source /etc/profile

设置配置文件:

cd spark-2.4.3-bin-hadoop2.7
cp spark-env.sh.template spark-env.sh
vim spark-env.sh 
# 添加以下内容(这个配置文件也可以暂时不配置)
export JAVA_HOME="/opt/java/jdk1.8.0_141"
export HADOOP_CONF_DIR="/usr/local/hadoop-2.7.7/etc/hadoop"
export SCALA_HOME="/usr/local/scala-2.13.0"
export SPARK_MASTER_IP=s201
export SPARK_WORKER_CORES=2
export SPARK_WORKER_MEMORY=2g

cp slaves.template slaves
# 修改为以下内容
s201
s202
s203

把core-site.xml hdfs-site.xml hive-site.xml放入到配置目录中
在这里插入图片描述
分发/etc/profile和spark安装包,并source /etc/profile

启动,在主节点的sbin目录中启动

sbin/start-all.sh

s201主机 jps 查看到多出一个Master,worker进程,其他两台主机查看到多出一个worker进程

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

醉卧千山下,诗酒趁年华。

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值